OpenAI 推出全新影片生成模型「Sora」,可依文字敘述生成 60 秒超逼真影片


OpenAI Sora 影片生成模型

OpenAI 除了有聊天機器人 ChatGPTAI 文生圖工具 DALL-E 3 外,現在也要開始在「AI 影片生成」上發力!日前 OpenAI 宣布推出全新影片生成模型「Sora」,只要透過文字敘述即可生成一部時長 60 秒的超逼真影片。

雖說目前 Sora 還沒開放使用,但驚人的實際效果已經讓人非常期待未來正式上線後的發展。

OpenAI 全新影片生成模型「Sora」

Sora 是 OpenAI 日前新推出的影片生成模型,用戶只要跟之前使用 AI 繪圖一樣給出文字敘述(提示詞 / Prompt),Sora 就會依照用戶要求生成一段時長 60 秒的影片。

OpenAI 表示 Sora 能夠理解用戶的敘述內容,甚至會判斷敘述中的人事物在現實世界的存在方式,進而生成包含複雜場景與多個角色、特定動作、精確主體與背景細節的影片。

  • 複雜場景與多個角色:Sora 可以創造出包含人物、動物、物件等多個元素的場景,這些元素之間能夠進行互動,使畫面充滿故事性。
  • 特定動作:Sora 能夠理解並描繪不同的動作,例如走路、奔跑、跳躍、飛行等,並且這些動作皆能符合現實世界的物理原則。
  • 精確主體與背景細節:Sora 可準確描繪主體與背景細節,像是人物的表情、服飾、物體外觀、光影效果等等。

OpenAI Sora 影片生成模型

不僅如此,Sora 還具備深度語言理解能力,可精準解讀文字敘述並生成具備情感的角色;也可在統一人物形象和視覺風格的前提下生成多鏡頭畫面。

而 Sora 的實際效果也確實非常驚人,生成的影片超逼真,各位可以看以下 OpenAI 提供的範例:

影片提示詞(中文翻譯):「雪花紛飛,美麗的東京街頭一片繁忙。鏡頭穿梭於熙熙攘攘的街道,追隨著一些人享受著美麗的雪景和在附近攤位購物。絢麗的櫻花花瓣與雪花一起隨風飄舞。」

影片提示詞(中文翻譯):「一位時尚的女子走在東京街上,周圍充斥著溫暖發光的霓虹和動態的城市招牌。她身穿黑色皮夾克、紅色長裙和黑色靴子,手上拎著黑色包包。她戴著墨鏡,擦著紅色口紅,自信而閒適地走著。街道濕漉漉的,反射出五彩斑斕的燈光,仿佛一面鏡子。周圍也有許多行人走動。」

影片提示詞(中文翻譯):「動畫場景聚焦一隻矮小、毛茸茸的怪物跪在燃燒的紅色蠟燭旁,近距離特寫。場景採用 3D 風格,以寫實細膩的筆觸描繪光影和紋理。怪物瞪大眼睛,張開嘴巴凝視火焰,畫面洋溢著驚奇和好奇的氛圍。它的姿勢和表情傳達出一種純真和頑皮的意境,彷彿它正在初次探索周圍的世界。畫面運用暖色調的燈光,進一步襯托溫馨舒適的氣氛。」

Sora 尚未開放使用,目前還有細節需要改善

不過 OpenAI 仍表示 Sora 現階段尚未開發完成、屬於半成品階段,還無法完全精細還原每個場景細節,例如吃餅乾後餅乾上可能會沒有咬痕、人類在跑步機上跑錯方向、會莫名其妙無中生有多個人物…等等;所以 Sora 尚未開放給大眾使用。

OpenAI Sora 影片生成模型

目前 Sora 是僅開放給「Red Teaming」測試,以模型是否有潛在的危害或風險;也有開放給一些視覺藝術家、設計師、電影製作人,希望透過專家的意見持續優化 Sora 模型。

OpenAI 說明選在開發階段就發表 Sora 目的是為了盡早與外界合作,獲得更多回饋;同時也讓大眾了解未來 AI 的能力。

更多 AI 相關資訊》