一文看懂 Apple Intelligence 是什麼:蘋果生成式 AI 的 19 個用法與支援機型


line banner

蘋果在 WWDC 2024 發表會上花了將近 40 分鐘介紹 Apple Intelligence,是蘋果的生成式 AI 功能,那麼到底 Apple Intelligence 是什麼?有哪些用法?又有哪些機型可以使用?今天這篇文章幫大家一次整理。

Apple Intelligence 是什麼?

Apple Intelligence 是蘋果的生成式 AI,內建在 iPhone、iPad、Mac 中,幫助使用者快速生成文字或圖像、搜尋內容、安排行程、整理重點、執行各種 AI 相關功能,你可以想像是 iPhone 內建了一個 ChatGPT 助理一樣。

蘋果的生成式 AI 會理解、搜尋裝置內所有 App 的內容與資訊,再透過機器學習、語義索引、情境分析等算法以及系統內的本機 LLM 模型,生成適合特定對象、特定情境的內容。

蘋果生成式 AI(Apple Intelligence)可以怎麼用?

蘋果在 2024 WWDC 發表會上花了將近 40 分鐘介紹 Apple Intelligence,並且實際展示了一些蘋果生成式 AI 的用法。

寫作工具 Writing Tools

很多人想到生成式 AI 就會覺得應該是可以生成文章,但是蘋果在整場發表會上幾乎沒有什麼提到文章「從無到有」生成這件事,反而對於 Apple Intelligence 是直接從「改寫」這部分切入。

修改語氣

當你使用 Writing Tools 的時候,可以透過預設的「友善」、「專業」以及「簡單明瞭」這三種選項,讓 Apple Intelligence 用不同的語氣來重新改寫原本的內容。

例如寫給老闆的信就可以用「簡單明瞭的」口氣,因為老闆可能不想看太冗長的內容;寫給之前在旅遊時認識的國外朋友就可以用「友善的」口氣改寫,維持彼此的友誼。

校正語法與用字

Apple Intelligence 還可以幫助修改用字、語法結構上的錯誤,透過「Proofread」功能,AI 就會告訴你哪些用字需要調整,還會讓你知道原因以及正確的用法。這個在寫一些不能犯錯的專業內容、職場商用文件的時候會很實用。

生成重點摘要

Apple Intelligence 可以幫忙把落落長的文章用不同的方式簡化,達到好閱讀的效果,透過 Writing Tools 內建的「總結 Summery」 、「重點 Key Points」、「表格化 Table」以及「條列式 List」就可以達成。

例如選擇了「Key Points」功能,就可以把選取的範圍用「重點」的方式改寫並且並呈現預覽,如果覺得 OK 就可以直接取代原本的內容,這樣對方看起來也不會這麼冗長。

在郵件上方也加入了摘要重點的按鈕,對於冗長內容的信件可以生成簡短的摘要,節省瀏覽內容的時間。

提供回覆建議

如果你收到了一個需要回覆的郵件,AI 會給你一些回覆的選項,並且從你選擇的結果中,再延伸出更完整的回覆內容,讓你可以不需要花太多時間在輸入文字上。

圖像處理工具

Apple Intelligence 的圖像處理工具讓你可以創建和編輯圖片,包括 Genmoji、Image Playground 和 ImageWand 這三種功能。

Gemoji 表情符號

Gemoji 是 Apple Intelligence 而產生的新功能,輸入相關的描述就可以生成一組 4 個的全新 emoji 表情符號;甚至你可以把照片圖庫中辨識到的人物頭像搭配指令做成表情符號。

Image Playground 影像遊樂場

在包含 Keynotes、無邊記、訊息…等多個 App 中,可以使用 Image Playground 功能透過文字生成圖片。在一堆系列選項中,選擇一個你要的主題,選好以後就可以看到預覽的效果,並提供「動畫」、「素描」或「插圖」這三種風格可以選擇。甚至你突然有自己的靈感了也可以加指令進去,Apple Intelligence 就會依照這些指令生成有趣的圖片。

ImageWand 影像魔杖

如果你喜歡畫速寫、素描,或是你喜歡畫但覺得畫得不好看,ImageWand 可以都將你的粗略草圖轉換成精美的圖片。使用 Apple Pencil 圈出你的草圖,ImageWand 會自動分析並依照你的原圖創建一個更精緻的圖像。

甚至你什麼都不要畫,在一片空白中也可以依照旁邊描述的內容幫你生成相關的圖片,如果希望文件圖問並茂但是並不會畫圖的人來說相當方便。

理解文字的重要程度

AI 還可以依照你的狀況,學習判斷郵件、通知的重要程度,並且幫你做分類,甚至是整合摘要節整你瀏覽的時間。

依據重要程度分類內容

Apple Intelligence 透過機器學習與演算法功能,可以判斷你接收到的哪些通知、信件是重要的,然後依照重要程度、內容類別來自動分類,讓你可以自行選擇要先看哪些內容。

郵件摘要預覽

而且信件的預覽功能中,也不僅僅是提供前幾行的文字,而是透過 AI 整理出整封信件的重點並顯示在預覽上。

進化版 Siri + Apple Intelligence

Apple Intelligence 中,Siri 扮演了相當重要的角色,而且也換上了新的風貌,可以做的事情變得超多。

全新改版的 Siri 與介面

利用側邊按鍵呼叫 Siri 後,看到的不再是一個圓圈的符號,而是直接變成漸層外框圍繞在 iPhone 螢幕周圍,接收指令時外框會有擾動的效果。

自然語言理解能力

Siri 現在能理解更自然的語言交流,即使你說話不連貫,Siri 也能理解。例如,你可以問「Siri,明天早上在 Muir Beach 的天氣怎樣?」,即使你發現你說錯了要改口說「我剛剛是說 Muir Woods」,Siri 也能理解並回答。

此外,當你中斷了一下,然後再說「幫我建立一個到那裡的路線與時間安排」,Siri 也會理解你所說的「那裡」是剛才提到的「Meer Woods」。

搜尋各 App 內的資訊並整合

現在你可以問 Siri 任何更私人的問題,例如你問「Siri,我媽媽的飛機什麼時候會到?」,這時 Siri 就會找到你和媽媽的郵件中有提到這個部分,並顯示給你看。

然後也可以順便請 Siri 告訴你接機後的晚餐計畫,Siri 就會從你們過去的對話中找到你安排的晚餐行程,你甚至不用設定行事曆 Siri 就可以找得到這個行程。

或是你也可以請 Siri 幫你找出朋友之前向你推薦的書單、之前拍起來的證件照,這些 Siri 都可以在各種不同的 App 之間找出來,甚至你不知道他在哪個 App 裡面都沒有關係,反正 Siri 會去找。

直接解讀螢幕上的內容

簡單來說就是 Siri 可以看得動你現在畫面長怎樣,例如有人傳了一個地址給你,你可以直接跟 Siri 說,把這個地址夾到這個人的聯絡資料中,而你都不用跟他說地址是哪個,他就可以找到地址,然後將圖像轉成文字加入到對方的聯絡資料裡。

操作 App 內的功能

透過增強版的 Siri 搭配 Apple Intelligence 功能,就可以直接讓 Siri 執行 App 內的功能,例如原本我要在照片 App 內尋找穿著粉紅色衣服的朋友,我可以透過搜尋搭配「粉紅色」這個關鍵字來達成,現在可以直接呼叫 Siri「找出 XXX 穿著粉色衣服的照片」。

或者是跟 Siri 說「把它加入到備忘錄中關於這位朋友的描述」,Siri 就會在備忘錄裡面找到相關的段落,然後加入剛才的照片,這大概也意味著之後可能就可以透過呼叫 Siri 來傳照片。

在照片裡的 AI 功能

Apple Intelligence 在照片 App 中也可以發揮不少的功能,包含把不想要出現的背景 P 掉、搜尋照片或影片、打造專屬的回憶精選集…等功能。

Clean Up 修圖功能

透過 Apple Intelligence 功能,只要點擊一下照片中的背景物件,就可以把不想要出現的元素 P 掉,這樣就不用上網求人幫忙 P 圖了。

準確的照片與影片搜尋

前面有提到透過 Siri 就可以用自然語言的方式來搜尋照片,而且不只是 Siri,透過照片 App 內的搜尋功能用文字的方式也可以搜尋,這個功能甚至是可以搜尋影片的片段;例如下圖就是在照片 App 中搜尋在草地上單手側翻的內容,其中就包含了影片的部分。

精選輯

只要輸入描述,像是人、事、時、地、物這些線索,Apple Intelligence 就可以找出符合條件的照片,然後按照片的類別、時間…等資訊編排,搭配情境給予合適的背景音樂,這樣很快就可以完成一部有故事感的精選輯,例如旅遊的回憶精選、家庭慶生的精選…等,儼然是一部微電影。

整合 ChatGPT

Apple Intelligence 這次也整合了 ChatGPT 提供部分功能,如果你提供的要求是包含在 ChatGPT 可以執行的範圍內,那麼 Apple Intelligence 就會詢問你是否要用 ChatGPT 執行。而且目前使用的是最新的 GPT-4o 模型,可以提供快速又準確地回答。

生成文字與圖片

雖然 Apple Intelligence 並沒有直接表明可以生成文字內容,但是你可以透過 ChatGPT 來生成整片文章、段落或是文案。

除了文字內容以外,透過 ChatGPT 的 Dall-E3 模型,也可以直接生成圖片,這和 Apple Intelligence 的 ImageWand 影像魔杖有點類似。

語音問問題

在 Siri 中詢問問題時,有時候 Siri 甚至會建議你聽聽看 ChatGPT 的意見,就會問你要不用使用 ChatGPT。至於 Apple Intelligence 和 ChatGPT 在回答上會不會有什麼不同?Siri 的判斷標準是什麼?這個之後如果有機會再幫大家做測試。

以上介紹的這些都只是目前已知透過 Apple Intelligence 可以完成的幾個主要的用法,從這些用法當然還可以延伸更多的用途,例如用在 iMessage 上修飾要回覆的內容、在 Keynotes 上補齊缺少的圖片、在彼此有爭議的時候找出對話中有共識的部分、按照條件安排行程….等,就看大家如何發揮創意去使用 Apple Intelligence。

Apple Intelligence 支援機型

Apple Intelligence 因為需要強大的 NPU 神經引擎支援,而且記憶體要求 8GB 以上,因為需要保留足夠的記憶體給本機上的 LLM 模型使用,但又不能壓縮到正常系統運作的需要,所以在機型的要求上比較嚴格,基本上只有 M 系列晶片的產品或是相等規格的產品可以使用。

  • iPhone 15 Pro
  • iPhone 15 Pro Max
  • iPad Pro M 系列晶片版
  • iPad Air M 系列晶片版
  • iPad mini M 系列晶片版
  • iMac M 系列晶片版
  • Mac mini M 系列晶片版
  • MacBook Air M 系列晶片版
  • MacBook Pro M 系列晶片版
  • Mac Studio M 系列晶片版
  • Mac Pro M 系列晶片版

Apple Intelligence 隱私保護有辦法相信嗎?

對於強調隱私保護的蘋果蘋果來說,Apple Intelligence 絕大部分的運算都是在設備本機上的模型來執行,不需要連網,並且透過設備上的安全晶片做隱私保護的控管,所以不用擔心資料會有外洩的疑慮,這也是為什麼 Apple Intelligence 對硬體規格要求較高、必須要 M 系列晶片以上原因。

而如果有需要連網的操作,蘋果則是透過 Private Cloud Compute 這個模型來處理,並在由 Apple Silicon 晶片打造的伺服器上運作,所以不僅可以達到高速運算的效果,同時也可以確保資料在雲端的隱私。蘋果甚至特地寫了一篇文章來介紹 Private Claud Compute(PCC)是如何保障 Apple Intelligence 的安全性,但文章很長,有興趣的可以點這裡去了解,我幫大家節錄重點:

數據加密

使用者透過 Apple Intelligence 的請求資料在傳送過程中是加密的,只有 PCC 節點能解密,這確保了資料在傳輸過程中的安全性。

硬體安全

PCC 節點使用 Apple 自家的硬體,這些硬體有很高的安全性,例如 Secure Enclave 確保只有授權的軟體可以執行,而且在過去用於 Mac 也沒有被破解的經驗上來說算是有一定可靠程度。

無狀態計算

PCC 保證使用者資料在處理完成後立即刪除,不會在系統中留下任何痕跡,這降低了資料被未經授權存取的風險。

高度透明性

PCC 允許外部第三方獨立的安全研究人員檢查和驗證系統的安全性機制(不是驗證資料),確保它隨時符合 Apple 公開的安全和隱私承諾。

儘管沒有任何系統能夠宣稱 100% 完全無法被攻擊,但 Apple 所採取的多層次安全措施和透明的操作方式,使 PCC 成為目前市場上最安全的雲端 AI 計算系統之一。蘋果希望透過這些措施和承諾, 讓使用者可以安心的相信 PCC 的安全性和隱私保護能力是非常高的。

Apple Intelligence 推出時間

蘋果在 WWDC 上面只有說在今年夏天會開放美國英語系的使用者測試,並且會作為 iOS 18、iPadOS 18 與 macOS 15 內建的功能在秋天的時候推出,但推出的時候將會標示為「Beta」版,有一種免責聲明的概念,就像 ChatGPT 也有好一陣子都是以 Beta 版開放給大家使用一樣;至於其他語言、部分功能則要等到明年才會逐漸開放。

而根據報導指出,Apple Intelligence 在美國以外的國家要使用可能也會有 Waitlist 的機制,而且即便開放了,初期的執行效果可能會蠻慢的。

我自己預計 Apple 口中的「夏天」最快大概在 iOS 18 Developer Beta 3 到 Beta 5 之間,差不多是七月左右,也是公開測試 Public Beta 推出後的時間,Apple Intelligence 就會開放符合條件的機型使用,到時候我們也會帶大家實際來體驗看看 Apple Intelligence + Siri 2.0 的威力。

更多 iOS 18 相關內容》

iOS 18 更新、升級、降級

iOS 18 支援機型、可以升級的 28 款機種清單一次看

iOS 18 Beta 災情有哪些?哪些銀行 App 可以用?回報總整理

iOS 18 更新懶人包:Beta 下載、更新方式、支援機型與特色功能一次看

iOS 18 公開測試版 Public Beta下載、更新與支援機型一次看

iOS 18 Beta 下載更新教學:免描述檔,透過設定即可快速安裝體驗

iOS 18 Beta 降級教學:2 種方式把手機回復成 iOS 17 正式版

iOS 18 功能彙整

iOS 18 更新了哪些功能?這 22 項特點值得嘗試

iOS 18 全新主畫面編排:App 與小工具隨意擺放,還能改色、調大小

iOS 18 控制中心大進化!功能更豐富、建立多頁控制群組使用更靈活

iOS 18 讓 iMessage 也能夠預約時間傳訊息

iOS 18 整合行事曆 + 提醒事項,還可以自由縮放大小

iOS 18 打注音也能滑動輸入,這樣打字更方便快速

iOS 18 移除 iPhone 鎖定畫面手電筒、相機按鈕教學,也可以改其他按鈕

iOS 18、iPadOS 18、macOS 15、Apple Intelligence 重點一次看

Apple Intelligence 是什麼:蘋果生成式 AI 的 19 個用法與支援機型

如果想知道更多關於 Apple 的消息、教學、小技巧或是科技新知,一定要點擊以下任一 LOGO,追蹤我們的 Facebook 粉絲團、加入官方 Line 帳號、訂閱 IG、YouTube 以及 Telegram。

加入LINE好友  追蹤FB粉絲團  追蹤 Instagram  訂閱 YouTube  訂閱 Telegram