Apple Intelligence 整合 Gemini！更聰明、更實用的「Siri AI」正式登場

蘋果推出 Apple Intelligence 的新架構，並表示這會帶來更實用的 Siri，也讓 App 變得更聰明、更實用；這套新架構以使用者和日常使用的 Apple 裝置為核心。

新版 Apple Intelligence 的核心是 Apple Foundation Models，Apple 今年與 Google 展開深度合作，並運用 Gemini 系列模型背後的技術。

他們也打造了新一代 Apple Foundation Models，供整合式 Apple Intelligence 體驗使用；這些新模型會同時在裝置端與伺服器端運作，並透過私有雲端運算提供支援。

Apple 表示，這次升級會帶來更強的理解、推理能力，也支援更多模態，包括影像理解與生成；這套模型不只能生成更逼真的圖片，也能編修照片，並直接針對視覺內容回答問題。

他們也針對更強大的 Apple Silicon 系統，打造了第二版更強的裝置端模型；這個模型可讓支援產品理解並生成語音，也能處理文字與圖片，它也讓系統級聽寫更準確，語言理解更好，聲音表現更有表情，Apple Intelligence 進一步深度整合到各平台中，帶來更多系統層級的功能。

Apple Intelligence 會透過新的 system orchestrator，在各項功能之間安全協調；這些能力先從個人情境理解開始，像是找多年以前的照片，或最近寫下的筆記，都能直接用問的找到。

Apple Intelligence 會結合 Spotlight 的語意索引，快速找出你當下需要的內容，並可在支援的 App 中運作；它也能連上網路取得最新資訊，再透過私有雲端運算生成答案，適合查資料或發想內容時使用。

透過 App Actions，Apple Intelligence 可以從 App 的工具箱中找出合適工具，協助完成你的要求。

接著是 on-screen awareness，Apple Intelligence 會根據你正在使用的 App 和當下操作，調整提供的協助。

Apple 強調這套架構以隱私優先設計，Apple Intelligence 會結合裝置端處理與私有雲端運算；Apple 表示，資料不會被儲存，也不會讓 Apple 或其他人存取，系統只會用來完成你的請求。

Apple 重新打造 Siri，並把 AI 放到核心，推出全新版本的「Siri AI」；沿用既有的使用方式，可透過 Hey Siri 或長按電源鍵使用。

這次加入的能力包括個人情境理解、App Actions，以及螢幕內容感知；Siri 現在能提供更深入的視覺智慧，並跨平台運作，Apple 也加入整合工具，讓你幾乎在任何輸入的地方，都能用 Siri 來寫作和編輯。

Siri 的介面也換上全新設計，整體看起來更流暢、直覺。

Siri 現在能根據即時世界資訊回答問題，像是查詢一場演唱會的時間、還能進一步詢問怎麼買票，Siri 也能接著幫你設提醒，等抽票開放時提醒你去登記。

Siri 也能辨識照片裡的地點，像是這張 Santa Cruz 海岸的畫面，直接判斷出是 Natural Bridges State Beach。

接著 Siri 也能把世界資訊和個人脈絡一起用上，直接幫你找朋友的新住處，甚至規劃出要去那裡的路線。

Apple 也示範 Siri 能用個人脈絡幫忙找照片，Siri 會直接在照片裡找出符合條件的內容，像是這次示範中的家庭牧場旅行照片。

接著 Siri 還能挑出特定人物的照片，加入共享家庭相簿，整個過程不用先打開 Photos app；Apple 也強調，這只是 Siri AI 更強大能力的幾個例子，接下來還有新的語音體驗。

Siri 的聲音現在也變的更自然好聽，還能自訂 Siri 的「語氣」，包含表現力和語速都可以調整，讓 Siri 語音更接近你想要的感覺。

「聽寫功能」也有大更新，辨識準確度明顯提升，拼字、標點和大小寫都更精準:因為聽寫直接整合在鍵盤裡，使用者可以在整個系統中使用，像是傳訊息或邊想邊寫日記都行。

Siri 也變得更會對話了，回覆會更完整，也能幫你處理更多事情，不再只限於快速問答或單一步驟任務；透過 Siri AI，你可以請它先規劃、來回討論創意發想，甚至直接針對文件給意見，功能也能在系統各處使用。

在 iOS 上，用戶可以從動態島往下滑來搜尋，或直接打字和 Siri 對話；當然也能直接說 Hey Siri，或按側邊按鈕，叫出更深入的回答。

例如用 Siri 詢問世界盃開幕週末的賽程；Siri 能從底部下拉進入全新的對話介面，資訊量也更完整，示範中直接顯示出世界盃賽程。

接著 Siri 進一步幫忙規劃觀賽派對，還能根據巴西和摩洛哥，提供兩國的代表性料理建議；Siri 的回覆裡甚至直接加入圖片，讓這段示範看起來更像完整的互動式搜尋。

接著 Siri 還能繼續往下找資料，像是從手機裡搜尋朋友最近提過的甜點，並生成派對菜單。

最後 Siri 也能直接幫忙發訊息給群組，邀朋友一起參加觀賽派對，還能把這份菜單一併附上；用戶可以直接編輯 Siri 找到的內容，確認沒問題後就能送出，整個流程相當順暢。

接著重點轉到 macOS 上的 Siri，Apple 把它整合進 Spotlight，讓用戶能在 Mac 各處直接叫出 Siri。

Spotlight 不只用來找 App 和檔案，現在也能直接回答問題，並可透過系統層級的右鍵選單向 Siri 發問；用戶只要按住 Control 點擊，就能針對圖片、檔案或文字直接詢問 Siri，示範接下來也會進一步展示。

輸入問題時，Spotlight 會直接辨識這是 Siri 的查詢，按下 Return 就能立刻開始對話：在 Mac 上，這個 Siri 視窗還能自由拖曳與調整大小，方便一次看更多內容。

Siri 也能直接回答 Mac 上內容的問題；用戶可以選取多個檔案，從右鍵選單直接叫出新的 Siri 欄位，快速針對選取內容提問。

Siri AI 的互動體驗也會擴展到更多平台，包括 iPadOS。

如果想回頭查看更完整的回覆，可以在 Apple 產品上的專屬 Siri app 裡重新瀏覽。

打開 Siri app 後，可以看到對話歷史總覽，而且會透過 iCloud 私密同步。

用戶可以在 iPhone 開始和 Siri 聊天，接著在 iPad 繼續，最後在 Mac 上收尾。

Siri AI 也會針對 watchOS 調整，讓你能直接在手腕上提問並執行操作。

Apple Watch 也能透過新的 app grid 進入 Siri app，操作更直接。

在 visionOS 上，Siri AI 會以 3D 形式出現在空間中，使用者不用說 Hey Siri，直接看著 Siri 就能開始說話。

在 iPhone 上，視覺智慧直接整合進相機 App，還有全新的 Siri mode；按下快門按鈕，就能讓 Siri 看見你看到的內容，並即時回應。

使用者還能下拉查看更完整的細節，並繼續追問，讓 Siri 回答更深入。

拍下的圖片和對話會儲存在 Siri app 裡，之後可以隨時回來查看。

這套深度影像理解由 Apple Foundation models 驅動，並在 private cloud compute 上運作，以保護隱私。

Siri mode 也會依照眼前內容即時推薦相關動作，例如把 iPhone 對準食物，就能看到營養資訊。

在 iPhone 上，你還可以對著帳單使用視覺智慧，選取自己點了哪些項目，直接用 Apple Cash 分攤帳單。

視覺智慧也加入 macOS，可透過專屬鍵盤快捷鍵啟用，選取 Mac 螢幕上的內容後，直接輸入給 Siri 回答；在 Mac 上，使用者還能來回追問，進一步了解更多內容。

如果你正在看行程，視覺智慧會直接建議可執行的動作，例如一次把多個事件加入行事曆。

在 iPad 上，視覺智慧可用來詢問螢幕上的內容、進行視覺搜尋並直接採取動作，還整合進截圖體驗；視覺智慧與 Siri 也會加入 VisionOS，使用者只要看著眼前的東西，就能直接提問。

Siri 會辨識你正在看的內容，並結合世界知識與個人情境，直接給出更有幫助的答案。

除了視覺智慧，寫作工具也更深入整合進 Siri，幾乎在任何輸入文字的地方都能使用；如果你正在從零開始寫文件，只要用自然語言描述需求，Siri 就能先幫你生成草稿。

在 Mail 和 Messages 裡，Siri 也能依照你和特定同事或朋友平常的說話方式來調整語氣。

如果你平常只會傳給主管簡短、直接的條列重點，用 Siri 草擬 Email 時也會得到這種風格；你也可以直接請 Siri 幫你檢查寫好的內容，選取文字後問它讀起來如何，還會給你修改建議。

Apple Intelligence 也會在你輸入時自動幫忙校對，不用再多做一步。

這項自動校對是系統層級功能，連大多數第三方 App 也能用。