Apple Vision Pro 操作邏輯解析:眼睛配合手勢、直覺操作體驗超流暢


Apple Vision Pro visionOS WWDC WWDC 2023

蘋果今年 WWDC 2023 發表的 MR 頭戴式設備「Apple Vision Pro」會讓外界如此驚艷,除了因為戴上後看出去的視覺感受非常棒,還有就是直覺的操作方式,不需配戴其他外設,只要用「手」就能完成所有的交互動作,來看看蘋果如何針對 Apple Vision Pro 設計出一套流暢的純手勢操作方案。

Apple Vision Pro 操作邏輯:眼睛瞄準、手指操作

Apple Vision Pro 的內部(接觸臉的那一側)使用高速攝影機和一圈 LED 投射不可見的光圖像到用戶眼球組成眼追蹤系統。

Apple Vision Pro visionOS WWDC WWDC 2023

而外側螢幕的下緣也配備紅外線、鏡頭等各種感測器能用來偵測外界環境、追蹤頭部與手部動作。

Apple Vision Pro visionOS WWDC WWDC 2023

最後再由全新的 R1 晶片處理來自 12 部相機、5 個傳感器和 6 個麥克風的資料,可在 12ms 內將新影像串流至顯示器,比眨眼還要快 8 倍,確保用戶眼睛看到的東西完全 0 誤差。

Apple Vision Pro visionOS WWDC WWDC 2023

以上這些感測器搭配 R1 晶片與 visionOS 造就了 Apple Vision Pro 流暢的使用體驗,整套 Apple Vision Pro 的操作邏輯簡單來說就是「眼神選中、手指操作」。

只要眼神看向某個元件,該元件就會表現出對應的回饋,讓你感覺好像選中它一樣,接著用戶再透過手勢(例如點、捏、長按…等等)進行操作;可以想像成眼睛就是你的滑鼠、而手指就是滑鼠上的左右鍵。

Apple Vision Pro 六大操作手勢

至於 Apple Vision Pro 操作手勢的部分,稍早蘋果也有完整公布在開發者網頁中,基本手勢包含 6 種:

  • 兩指單點
  • 兩指雙點
  • 兩指長按
  • 兩指按住後拖移
  • 雙手按住後縮放
  • 雙手按住後旋轉

Apple Vision Pro visionOS WWDC WWDC 2023

兩指單點、雙點

其中一隻手的拇指與食指單點一下、快速點兩下;對應的是「選擇」操作,就跟我們平常在 iPhone 上「點一下」、「點兩下放大」類似。

兩指長按、按住後拖移

其中一隻手的拇指與食指長按(捏著);對應的當然就是「長按」操作,例如框選文字、叫出輔助選單之類的;兩指捏著後移動,主要用來拖拉畫面用,手機上最常見的就是頁面卷動、左右橫移或是用筆刷塗寫。

雙手按住後縮放、旋轉

兩隻手的拇指與食指捏住後,往外伸 / 內合或是繞圈轉動;這應該蠻明顯的對應的操作就是放大、縮小、旋轉物件。

也能直接伸出手跟畫面互動

除了上面提到的 6 種操作手勢外,用戶也可以延續目前手機的使用習慣,直接伸出手跟畫面互動,例如伸出食指按住頁面卷動或是在虛擬鍵盤上打字。

而且當用戶觸碰到這些虛擬元件時,元件就會給予相對的視覺回饋,例如選定按鍵時會變亮,真正點下去時而會有一個按鍵下沈的動畫;雖說是對著空氣在操作,但也會讓用戶產生「有確實操作到」的使用體驗。

Apple Vision Pro 操作體驗如何

雖然目前我們還無法實際體驗到 Apple Vision Pro,但參考了一些國內外真實體驗過的創作者使用心得,基本上大多都一致表示 Apple Vision Pro 眼睛搭配手勢的操作體驗非常流暢、完成度很高。

眼睛追蹤很準確也夠穩定,每看到一個元件就會自動浮出來,感受不到任何延遲、誤差,哪怕元件很小也都沒問題,基本上就是很「跟眼」。

在少數情況下如果當 2 個元件距離太近,系統可能就會無法識別,產生 2 個元件間不斷切換的狀況,不過在普通使用的情境下 Apple Vision Pro 基本上都能正常運作。

手部追蹤方面也跟眼神追蹤一樣穩定,操作手法自然、也夠直覺,用戶能夠憑藉既有的肌肉記憶,在任何一個角度上都能輕鬆操作。

當然距離 Apple Vision Pro 實際上市販售還有蠻長一段時間;依照我對蘋果的認識,這段時間蘋果內部肯定會持續優化整個 visionOS 與 Apple Vision Pro 的使用體驗,最後端出來的市售產品,就能帶給用戶跟宣傳片裡一樣的夢幻使用體驗。

更多 Apple Vision Pro 相關資訊》