這個AI能幫你女朋友自拍：從照片生成3D視訊，總有個角度讓她滿意

曉查 發自 凹非寺

量子位 報導 | 公眾號 QbitAI

愛自拍的女生，為了拍一張美照總是需要很久，就是為了找到最美的角度。

比如這位妹子，在自己的書架前拍了4張自拍照，都不太滿意。

現在可以把選最美角度這件事交給AI了，讓妹子不再苦惱。只要幾張照片，它能從中生成各種角度的自拍。

然後，你可以在AI生成的視訊裡，找到一個自認為最美的角度，分享到朋友圈。

這個AI就是華盛頓大學和Google聯合開發的 nerfies。

這種方法不需要太龐雜的設備，只要智能手機的照相頭和CPU就能完成運算和渲染。這可比iPhone 12 Pro用內置激光雷達來生成3D圖像的成本低多了。

原理

看到nerfies這個名字是不是有種似曾相識的感覺？nerfies其實就是NeRF+Selfies兩個單詞合併而來。

NeRF（神經輻射場）是Google最近開發的一種2D圖像轉3D的模型，但NeRF要求拍攝對象在整個過程保持完全靜止。

比如，上面的妹子在自拍4張照片的時候，頭部姿勢不可避免地會發生變化，如果直接套用NeRF，效果慘不忍睹。

而nerfies則是 可變性神經輻射場（Deformable NeRF），它能夠重建非剛性變形的場景。

在NeRF的基礎上，作者從幾何和物理模擬的原理出發，提出了NeRF的彈性正則化，進一步提高了2D轉3D的魯棒性。

在可變性NeRF中，作者引入了彈性正則化、背景正則化以及一種可避免不良的局部最小值退火技術。

作者將潛在變形碼（ω）和外觀碼（ψ）與每個圖像關聯。在觀測幀中對照相機光線進行追蹤，並使用變形場將樣本沿光線轉換到規范幀，變形場由變形碼ω編碼為MLP。

另外使用轉換後的樣本位置(x0，y0，z0)、觀察方向(θ，φ)和外觀碼ψ作為MLP的輸入，來查詢模板NeRF模塊，並沿著光線對樣本進行積分。

更多玩法

可變性NeRF不僅可以用於自拍，還有更多好玩的用途。

比如創建「希區柯克變焦」的效果，過去需要專門的攝影技巧，或者是通過由遠及近的拍攝視訊再後期處理。現在只要幾張照片就可以了。

如果不需要場景角度變化，而是需要人物姿勢變化呢？

可變性NeRF能在頭向左和向右之間線性插入任意姿勢的照片。

最後還有一個用途是生成防抖視訊。既然可變性NeRF可以生成任意角度的圖像，那麼現在可以讓手負責抖，而讓它負責穩了。

目前作者還沒有公布程式，不過他們的項目主頁上已經放上了GitHub的按鈕，看來他們已經準備開源了。你是不是迫不及待想試一下呢？

項目地址：

https://nerfies.github.io/

論文地址：

https://arxiv.org/abs/2011.12948

— 完—

本文系網易新聞•網易號特色內容激勵計劃簽約帳號【量子位】原創內容，未經帳號授權，禁止隨意轉載。

量子位年度智能商業大會啟幕，大咖已就位！

12月16日，李開復博士、 尹浩院士、清華 唐傑教授，以及來自 小米、 美團、 愛奇藝、 小冰、 亞信、 浪潮、 容聯、 澎思、 地平線、 G7等知名AI大廠的大咖嘉賓將齊聚MEET2021大會，期待關註AI的朋友報名參會、共探新形勢下智能產業發展之路。

▽早鳥票限時優惠，掃碼鎖定席位吧~

量子位 QbitAI · 頭條號簽約作者

վ’ᴗ’ ի 追蹤AI技術和產品新動態

一鍵三連「分享」、「點讚」和「在看」

科技前沿進展日日相見~