Google 的 3D 全像投影通話進入試用階段,現在的視訊通話要被顛覆了


line banner

3D 全像視訊通話 Google 視訊通話

圖、文/愛范兒授權轉載

如果你的異地戀對象過生日,你會怎麼給他/她慶祝?

發一則 LINE 訊息?單純的文字好像略顯冰冷。

打一通電話?真切的情感似乎釋放得不夠徹底。

撥一個視訊電話?總有點看得見碰不著的缺失感。

這個時候,我們總會想:如果能夠第一時間出現在對方的身旁,那就最好了。

然而,哆啦 A 夢的任意門對於 21 世紀的人類科技來說還是過於超前,但先別急著氣餒,至少現在我們已經可以傳送一個虛擬的自己到對方的面前。

什麼?你以為我又要講玄之又玄的元宇宙了?

不,我所說的可不是一個沒有腳的漫畫卡通化身,而是與你長得幾乎一模一樣,並且全像立體的「你」。

與真人對話

在去年的 5 月 Google I/O 大會上,Google 的 CEO Sundar Pichai 發布了可以不需要依靠頭戴設備就能實現 3D 全像視訊通話 —  Project Starline。

Project Starline 是 Google 內部高度保密的實驗項目之一,根據 Google 的研究員透露,項目小組在 6 年前就已經開始做相關的技術研究,一直到 2021 年才向大眾發布,而在此之後又沉寂了幾乎一整年。

就在人們以為這是 Google 又一「畫大餅」項目時,Project Starline 在最近邀請了包括 The Verge 在內的媒體和合作夥伴前往實驗室親身體驗。

The Verge 編輯 Jay Peters 在體驗後感嘆稱,這是他迄今體驗過最真實的一次虛擬實境互動,「感覺就像是科幻小說照進了現實」。

人類通訊手段一直緊跟訊息技術的發展在不斷升級。從古早的電報到電話、再到視訊通話,人類傳遞訊息的方式不斷升級,訊息傳遞的及時性和內容也在不斷提高。

3D 全像視訊通話 Google 視訊通話

如果以這兩個角度作為發展的坐標軸的話,我們不難想像,通訊技術的下一個階段將會涵蓋聲音、影像、空間位置等更豐富的內容,並能以幾乎無延遲的方式即時傳輸。

在很多科幻電影中,科幻創作者認為 3D 全像通話便是符合這一定義的下一代通訊的方式。

也就是說,繼人類成功地把熟悉的人臉帶到身邊之後,下一步就是把「本人」帶來現場。

於是乎,Project Starline 項目應運而生。

Starline 的產品管理總監 Andrew Nartker 在接受媒體採訪時提到,他們在通訊技術方面取得的突破,能讓用戶與世界各地的人們變得更加親密,彼此之間的聯繫也更加緊密。

3D 全像視訊通話 Google 視訊通話

從 Project Starline 的裝置外表來看,它似乎和「3D」、「全像投影」等高科技詞彙不太沾得上邊,畢竟在科幻電影裡,主角們都是通過一個充滿未來感的金屬圓形底座進行全像立體投影通話,與之相比,Project Starline 更像是一個精緻一點的梳妝台。

當 Project Starline 的大螢幕亮起時,遲到的科技感才慢慢地舖陳開來。

Jay Peters 稱,Project Starline 就像是一塊具有魔法的窗戶,將兩間房間連在了一起,坐在他對面的 Google 研究員看起來和真人的高度、長相幾乎一致,當他遞過來一個蘋果時,他甚至能通過畫面上的陰影感受到近似真實世界的空間距離感。

當然你還是拿不到這顆蘋果啦。

但這就像是一場發生在同一張桌子上的面對面交流的情景,擬真的程度幾乎讓人忘了兩間測試房實際上相隔甚遠。

之所以用「擬真」來形容這場別開生面的會談(你平時一定不會聽到有人說視訊通話裡的人長得好逼真),是因為畫面終端顯示的其實並非是單純的影像畫面,而是根據圖像、深度等訊息重新渲染的「虛擬人」,而這是營造超現實臨場感的關鍵。

3D 全像投影通話的秘密

將真人虛擬化為什麼反而會更加真實?要理解這個問題先要從 Project Starline 的工作原理下手。

3D 全像視訊通話 Google 視訊通話

坐在這張精緻「梳妝台」面前,最矚目的莫過於這塊 65 吋的大螢幕,這可不是普通的家用電視,而是一塊 8K/60Hz 的 3D 光場顯示器,Google 的研究員稱其單眼可觀測的像素密度是 Oculus Quest 等 VR 設備的兩倍,可以有更精細的立體顯示效果。

3D 全像視訊通話 Google 視訊通話

要讓這塊光場顯示器顯示出立體效果,就需要採集物體的深度訊息。研究員在螢幕的上方和底部都安裝了多個雙鏡頭立體相機和紅外相機,這樣就能收集多角度的深度訊息,還原出人物的空間距離感。

3D 全像視訊通話 Google 視訊通話

在螢幕的兩側和上方還安裝了多個單色追蹤攝影機,用於對人物臉部五官的即時 3D 定位,這樣當人物在移動時也能精準地還原人物模型。

3D 全像視訊通話 Google 視訊通話

▲真人影像

3D 全像視訊通話 Google 視訊通話

▲ 渲染結果

當這些採集到的位置和畫面訊息傳輸到了接收端,系統會根據觀眾左右眼的位置渲染出逼真的「虛擬人」。

這時候,當觀眾的眼睛位置改變,圖像的位置也會跟隨眼球移動做細微的位置偏轉,這是傳統 2D 影像所不能提供的空間真實感。

Project Starline 除了要在視覺上打破「次元壁」外,在聽覺上也下了不少功夫。

3D 全像視訊通話 Google 視訊通話

在輸入端,麥克風可以配合臉部追蹤的數據形成具有指向性的動態波束,以實現降噪和抗干擾。在輸出端,追蹤系統則能定位觀眾的耳朵,模擬出對話的空間方位感,讓聲音聽起來就像是螢幕中的嘴巴說出來一樣。

試想一下,當你要與同事、合作夥伴舉行重要的視訊會議時,與會者不再需要全神貫注地盯著狹小的螢幕,眼神不用再迷離在視訊鏡頭之外,而是可以與你做自然的眼神接觸,甚至能用一些肢體語言輔助表達。

不過現階段 Project Starline 距離實際應用仍然有很長一段路要走。

Wired 的編輯 Lauren Goode 在體驗過 Project Starline 後表示,雖然全像投影的視覺效果在大多數時間都很棒,但當人物移動幅度過大時,原本立體的圖像就會短暫變回平面,體驗不甚完美。

3D 全像視訊通話 Google 視訊通話

Google 的研究員也提到,在處理形狀複雜(例如蓬鬆的毛髮、光學眼鏡)或者運動物體時,時常會有錯誤的「偽影」出現,其團隊目前正致力於提高影像處理的準確性。

除了技術上的障礙,佈設一整套 Project Starline 的成本也相當高昂,昂貴的光場顯示器和各種光學攝影機注定了 Project Starline 在目前只能是實驗室產品,要想打入消費者市場在現階段幾乎不太可能。

Andrew Nartkerct 在接受 The Verge 採訪時坦誠說道,Project Starline 是一項振奮人心的全新技術,是空間互動領域的一次突破性的探索,但目前它仍很難稱得上是一件「產品」。

那麼,Project Starline 花這麼大力氣到底是要解決些什麼呢? Google 給出的答案也很簡單:讓你感覺到你和一個真正的人在一起。

在過去的一年裡,以 Zoom 為代表的遠端會議軟體在企業、學校得到了廣泛的使用,人們因為各種原因分隔開,不得不通過這些視訊軟體協同工作,甚至,一次的見面也很困難,人與人之間的聯繫也因此被沖淡。

微軟在一份關於視訊會議對工作效率的影響的報告中提到,人們在視訊會議中會比現實溝通更容易分心,這是人們在面對高壓力的視訊會議下的自然應對反應。

而能提供真人對話體驗的 Project Starline,似乎能消除這種妨礙溝通的壓力感。

雖然 Project Starline 佈滿各式各樣的攝影裝置,但當其工作起來後,這些冷冰冰的技術都會被參會者拋到腦後,因為這時候在他面前與之溝通坐著的是一個近乎真實的「人」。

Google 的研究員經過對比實驗後發現,相比於傳統視訊溝通,使用 Project Starline 溝通的參會者會有更多的眼神接觸和肢體語言,在溝通結束後能夠回憶的內容也要多出 28%。這也許就是自然溝通的魅力。

目前 Project Starline 僅在 Google 內部給員工們做小範圍的實驗,Google 稱從今年開始會陸續地向包括 Salesforce,WeWork,T-Mobile 在內的合作夥伴開放測試,推動人與人建立更深的聯繫。

3D 全像視訊通話 Google 視訊通話

Project Starline 未來會得到普及,成為 3D 時代的電話亭嗎?

對於這樣一個技術超前的項目來說,這個問題在目前很難給出一個定論,Project Starline 可能會成功成為一個真正的產品,也被過高的成本拖垮導致胎死腹中,甚至可能成為 Google 未來 AR、VR 技術的一部分。

但無論怎樣,這種呼應人們真實需求的未來科技,值得科技圈更多的關注。

畢竟,在人們習慣分離的當下,沒什麼比親眼見上一面更加珍貴。

延伸閱讀》

如果想知道更多關於 Apple 的消息、教學、小技巧或是科技新知,歡迎大家點擊以下任一 LOGO,追蹤我們的 Facebook 粉絲團、加入官方 Line 帳號、訂閱 IG 以及 Telegram。

加入LINE好友  追蹤FB粉絲團  追蹤 Instagram  訂閱 Telegram