PIXEL 計算攝影2.jpg

Night Sight,在夜晚,拍張照,總是會得到一張噪點滿滿、細節模糊、曝光不準確的照片
,而Night Isght的出現,使的手機的拍照實力又向前了一大步,究竟這黑科技試如何辦到在夜晚中一樣可拍出漂亮的照片? 請看以下文章 :

Google 的黑科技 - Night Sight

低光源拍照時,照片容易出現許多雜訊,以手機來說,最大的雜訊來源就是光子進入鏡頭後自然產生的統計誤差(shot noise),以及感光元件將光子的能量轉換為電荷再轉為電壓並放大後產生的雜訊(Read noise),而這些雜訊就以SNR(訊號對雜訊比)來表示,
SNR越大,雜訊越少;SNR越小,雜訊越多,
而SNR又與曝光時間呈平方正比,所以通常拍夜景時,都是相機上腳架,開低ISO、長曝光,藉以減少雜訊。
但是對於一般人來說,拍個照還要帶個腳架多麻煩? 而HDR+的疊圖技術雖然可以用來拍到更好的低光源照片,但是如前文所說,它只能拍到亮度3 Lux以上的場景

對於亮度更低的環境,便會出現問題,所以Night Sight用了以下幾個技術,並結合先前提到的HDR+,讓相機依舊能在0.3 Lux ~ 3 Lux的環境中拍出漂亮的照片:
1.    PSL
2.    motion metering
3.    AI填色(白平衡)

首先是PSL(positive-shutter-lag),Google在GCAM上使用了零快門延遲技術(Zero-Shutter-Lag, ZSL),使的按下快門後即可馬上得到成像,而在Night Sight中,為了獲取更多的光線,PSL會等到使用者按下快門後才開始拍照片,而與HDR+相同的是,Night Sight也是一次拍多張圖片去做合成,而依據手機晃動的狀況(上腳架還是手持),Night Sight會拍攝15張曝光1/15秒(或更短)的照片~6張曝光1秒的照片,但是拍攝過程中,手機必會出現晃動、偏移、場景變換的情況發生,雖然Pixel 3 / Pixel 2有著OIS(光學防手震)可以減緩晃動,但對於Night Sight這種長曝光的拍攝方法,光有OIS也是不夠的,有著OIS也只能把曝光時間拉長到1/8秒而已,但是Night Sight一次拍攝可能多達15張照片,OIS並不足夠,因此Google開發了motion metering。

Motion metering是一個技術,藉由陀螺儀感測手機的移動,以及被拍攝物的動作,限制單幀快門時間使影像不要模糊,如以下這隻狗

image1.gif
左邊是張Gif動圖(狗在搖頭),中間這張圖是Motion metering功能被關閉時拍的,單幀曝光時間為73mS,導致模糊,而右邊則是開啟Motion metering,單幀曝光時間被降到48mS,有著較少的晃動。
而既然Motion metering減緩了單幀成像的模糊,接下來則是解釋Google如何做到矯正及合併,傳統的疊圖就是把多張圖片的像素取平均,減少噪點,然而這種方法無法克服手震,Google將HDR+中的合併圖片演算法家加以強化,加強影像錯位的排除,且針對低光源環境優化,而由於Google Pixel 3有著更好的處理器,故在Pixel 3上,Google用上了Super Res Zoom的技術去加強照片,因為此技術也可減少噪點、提升細節,無論拍攝時是否有變焦。

而Night Sight最後的挑戰是白平衡,自動白平衡(Auto white balancing, AWB)在低光源環境下會失效,是因為在昏暗的環境中,相機很難去判斷真實的顏色為何,導致無法矯正圖片的色彩,因此Google使用AI去訓練演算法判斷白平衡、填色,所以其實Night Sight已經不是單純的拍照片了,甚至可以說,Night Sight是數位作畫。

image5.jpg

 

  參考資料

Youtube : The verge

Youtube : Washington Post

Google AI Blog

  延伸閱讀

「科普」Google Pixel 與計算攝影 PART1 - HDR+的原理

文章標籤

全站熱搜

阿湯 ATon 發表在 痞客邦 留言(1) 人氣()