讓靜態照片動起來:AI 讓哈利波特般的動畫照片成為現實

《哈利波特》世界裡的魔法報紙,其中的照片人物可以動起來;這個本來只應該存在於小說中的情節,有幾位華盛頓大學的科學家透過 AI 實現出來了。

他們的這項技術,可以讓靜態的照片人物動起來。


圖片來源:Haven & Hearth

讓照片動起來的 AI 魔法

這種技術叫做 Photo Wake-Up。首先是照片中剛進了球的 Curry,光是這張照片,就可以透過這項技術讓他「跑出來」:

不只是跑動的動作,就連靜態的鋼鐵人也可以這樣悠閒地坐下:

至於超級賽亞人孫悟空…也可以跳起來(我以為他要變身了)

當然,古典畫作也沒問題,畢卡索的《Maya with boat》也可以,哪怕畫面中的人物根本不像真人。

這些都是透過 AI 技術辨別出畫中的四肢,並把 2D 的畫面人物賦予骨幹,變成像是 3D 角色一樣做出各種動作。

這項神奇的技術到底是怎麼辦到的?

先前其實也有人做過類似的事,不過只是把四肢扭曲,變成好像在走路一樣,這樣的做法相當不自然:

但透過 AI 技術把平面人物變成 3D 還有一個難題,就是電腦要能夠辨認出平面中的「立體區域」,像是哪隻手在前面?有沒有被其他景物擋到身體?這些問題如果不解決,就沒辦法讓平面人物看起來栩栩如生。

下圖是華盛頓大學的作法,他們先將 2D 平面人物與 3D 模擬進行配對,標記出各個關鍵部位(手、腳、軀幹、關節)等等,接著利用算法,模擬出畫面中人物的姿勢,並建立一個模型。

建立好之後,就可以 render 出立體的人物,接著要他做任何動作都沒問題了!

團隊還特別表示,這項技術中有一個難題,就是「頭部的姿勢」。因為大多數人會將注意力放在臉部上,因此臉部的辨識與模擬就特別重要,除了要能夠認出眼睛鼻子等五官外,還要有辦法模擬出畫面人物的注視角度。

想像一下,以往只能存在於平面中的角色都可以跑出來了,是不是很有哈利波特般魔法的感覺呢?

資料來源:Photo Wake-Up

更多 AI 辨識》

線上去背網頁推薦:remove.bg 一鍵幫你刪去圖片背景

NVIDIA 最新黑科技:用 AI 自動”腦補”生成超級慢動作

嚇死人的 AI 合成技術:女神下海、總統踹門通通成為可能