新聞科技

iPhone 夜拍救星?蘋果生成式 AI 技術在超暗環境下也能拍得清楚

雖然 iPhone 的錄影功能在業界是標竿,但在「極低光源」的夜拍表現上,常常被用戶吐槽有「油畫感」或是噪點過多。面對 Android 陣營(如 Google Pixel、三星)的強勢夾擊,蘋果似乎準備拿出殺手鐧了!

根據蘋果與美國普渡大學(Purdue University)最新發表的一份研究論文,他們開發了一項名為 「DarkDiff」 科技,打算利用生成式 AI 直接從 RAW 檔階段拯救你的夜拍照片 。

iPhone 夜拍

什麼是 DarkDiff?把 AI 塞進 ISP 裡

現在的夜間模式,多半是靠多張影像合成(堆疊多張照片)來降噪並提升亮度。但如果環境實在太暗,感光元件抓到的光子太少,傳統的 ISP(影像訊號處理器)算法為了要把噪點抹乾淨,往往會連同細節一起抹掉,導致照片看起來糊糊的,像塗了一層油畫 。

DarkDiff 的做法則完全不同,因為蘋果並不是從頭訓練一個新模型,而是利用已經很強大的預訓練擴散模型(類似 Stable Diffusion 這種生成圖技術),把它整合進相機的 ISP 流程中 。

DarkDiff 的 3 大亮點:細節回來了!

根據論文中的對比測試,DarkDiff 在極低光源下的表現,比目前的 SOTA(最先進技術)還要強,特別是在感知品質上 。

1. 告別油畫感,細節更真實

在論文展示的範例中,傳統算法處理過的照片,樹葉的紋理幾乎被抹平;但 DarkDiff 能夠還原出樹葉的一片片細節,甚至連書本上的文字都能變得清晰可讀 。

2. 聰明的「區域交叉注意力」機制

大家最怕生成式 AI 的幻覺,比如把一隻貓修成一隻狗。 為了防止這種情況,蘋果工程師設計了一種 「基於區域的交叉注意力」 機制 。這能強迫 AI 在生成時,必須死死盯著原始照片的局部特徵,確保生成的內容忠於原圖,不會無中生有 。

3. 文字與人臉不變形

研究團隊還加入了一個帶有殘差連接的 VAE(變分自編碼器),這主要是為了保護照片中的「內容身份」,確保照片裡的文字、人臉特徵不會因為 AI 運算而扭曲變形 。

實作的時候,iPhone 相機會拍下原始的 RAW 數據,並進行基本的數位增益、白平衡,轉成線性 RGB 格式 。這時候 DarkDiff 模型進場,它不是單純修圖,而是根據噪點分佈,去「生成」出原本該有的清晰細節 。

下面這個九宮格,左上角是拍攝出很多躁點的圖片,右下則是乾淨的參考圖。大家可以點圖片放大看,上方中間的 DarkDiff 技術相較於其他 SD Concat、EDL、SID 等方式都明顯的清晰度。

iPhone 夜拍

再給大家幾個參考的範例,一樣可以點圖放大來看細節。

iPhone 夜拍

iPhone 夜拍

DarkDiff 技術還需要時間打磨

雖然效果看起來很神,但這份論文也誠實地列出了目前的技術瓶頸,這可能解釋了為什麼我們還沒在 iPhone 上看到它:

非英文處理能力弱:目前的模型在處理低光照下的「非英文文字」時,效果還不夠好 。

運算量大、耗電:擴散模型的運算非常繁重,推論時間長。論文甚至提到,這可能需要雲端運算的協助,如果只靠手機電池硬跑,可能會太耗電或跑太久 。

不過這項 DarkDiff 技術顯示出蘋果正嘗試將生成式 AI 更深層地整合進影像底層架構。Google 在 Pixel 10 上也傳出要用 AI 來做超長焦解析度增強,顯然「AI ISP」將是明年手機攝影的兵家必爭之地。

如果這項技術能配合未來的 A 系列晶片 NPU 效能提升,或是透過類似「私有雲」的方式運算,未來的 iPhone 夜拍或許真的能把「伸手不見五指」拍成「燈火通明」且細節滿滿的大片。

延伸閱讀》

iPhone 拍煙火技巧:運用這 8 招就可以拍出完美的煙火

iPhone 夜拍的 10 個技巧,夜景拍照這樣做就會很好看

iPhone 相機設定方式分享,27 個調整建議讓 iPhone 相機不只好拍也好用

iPhone 拍照聲音如何關閉?9 個拍照靜音的方法分享

如果想知道更多關於 Apple 的消息、教學、小技巧或是科技新知,一定要點擊以下任一 LOGO,追蹤我們的 Facebook 粉絲團、訂閱 IG、YouTube 以及 Telegram。

加入LINE好友  追蹤FB粉絲團  追蹤 Instagram  訂閱 YouTube  訂閱 Telegram

Related Articles