尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
此前，青亭網曾報導Facebook訓練了一款人臉追蹤算法，只依靠普通VR頭顯上的3顆錄影頭就能做到對人臉的實時追蹤，用於渲染逼真的VR頭像。前不久，Facebook公開了關於這項研究的論文，並詳細闡釋了如何利用多視點圖像轉化法，在搭載9顆錄影頭的VR頭顯上訓練算法的全過程。
據了解，Facebook在研究中所使用的的逼真頭像系統來自於Reality Labs的一個Codec Avatars實驗項目，其特點是通過對人臉的動作捕捉，為生成和用戶長相幾乎一模一樣的虛擬頭像，並通過人臉追蹤對其進行動態臉部表情模擬，能夠為VR社交帶來足夠強烈的臨場感。
不過該系統還處於實驗階段，距離真正在消費級頭顯上應用還有一段距離。而現在通過Facebook公開的最新研究來看，將追蹤錄影頭縮小到3個意味著它距離實際應用又近了一步。
在論文中，Facebook指出傳統臉部動作捕捉需要使用到戴在頭上的多個傳感器，而這些傳感器所在的位置並不能兼容現有VR頭顯的設計，因為VR頭顯遮擋了很大一部分人臉。因此，傳統臉部動捕僅適用於真人表演，並不適合雙向交互的社交場景。
而現有社交VR所使用的頭像系統通常使用的都是非寫實的卡通頭像，而不是逼真的3D人像。而非寫實的頭像通常能夠表達的範圍有限，不過好處是臉部追蹤系統的錯誤在卡通頭像上看著並不明顯。
總之，VR頭顯難以準確捕捉用戶臉部表情的原因與錄影頭傳感器的所在位置有關。
首先，由於頭顯對人臉的遮擋，錄影頭傳感器通常只能捕捉到部分和非重疊視圖，而且視角比較極端和傾斜。在將重建錯誤最小化後，並不能將捕捉到的視角轉化成正確的正面視圖。其次，這些錄影頭通常採用紅外傳感，並不能直接轉化成虛擬頭像所採用的RGB色彩，合成分析的效果也就沒那麼好。即使是採用支持計算機視覺的傳感器，其表現也還是只適合非寫實的卡通頭像。
因此，Facebook科研人員訓練了這樣一款深度神經網路，它能夠學習從傳感器測量到頭像參數的複雜映射，並幫助做到對人臉的準確追蹤，塑造足夠逼真的寫實頭像。為幫助算法找到傳感器與頭像參數之間的對應關係，科研人員採用了多視圖幾何方法來解決傾斜視角以及傳感器和頭像之間的差異。
在訓練算法過程中，科研人員製作了兩個不同版本的VR頭顯，一個是搭載3顆錄影頭陣列的追蹤頭顯，另一個是搭載9顆錄影頭，用於對應傳感器與虛擬頭像的訓練頭顯。追蹤頭顯上的3顆錄影頭是頭顯自帶的紅外VGA錄影頭（追蹤左眼、右眼和嘴），而訓練頭顯上的額外6顆錄影頭則分別為左右眼、嘴提供額外視角。接著，科研人員將所有錄影頭同步，均設置為捕捉90Hz刷新率影像。
為了建立自然表情數據集，科研人員用兩台VR頭顯對每個目標表情各拍攝一次，總共捕捉73種表情、50句話、一系列動作和眼神方向，以及10分鐘自由對話。
虛擬頭像與錄影頭數據的紋理圖，用點標出對應的坐標
接著科研人員用上述數據集對深度神經網路進行訓練，在訓練期間會用隨機的小角度單應矩陣來增強輸入圖像，以此來模擬安裝差異導致的錄影頭旋轉，並模擬由光線差異引起的定向圖像強度柱狀圖變動。此外，除了找出錄影頭數據與頭像之間的對應關係，為了逼真的頭像效果，科研人員在頭像系統中還加入了能夠感知背景的可辨認渲染器。
完成算法訓練後，科研人員進行了一個模型簡化測試，用於測試多視點風格轉換、分布匹配、交叉視角一致性、可感知背景的可辨渲染等部分的重要性。並對比9顆錄影頭和3顆錄影頭的不同方案，比如：取消風格轉化，只使用坐標和邊緣匹配，或者拿掉多餘錄影頭，只使用3個追蹤視角，甚至不匹配頭顯位置，只採用平均頭顯姿態來渲染風格轉化數據。
最後結果發現，僅使用普通VR頭顯上的三顆錄影頭，也能做到在近距離對人臉的準確追蹤。即使VR頭顯對人臉產生遮擋，算法依然能準確重建人臉表情。
盡管減少了人臉追蹤所需的錄影頭，但由於該頭像系統還需要提前用動捕技術來捕捉用戶的臉部結構，而且還需要提前訓練算法，它距離進入主流市場依然還有一段距離。不過，隨著傳感技術和人臉的自動修正重建技術得到優化，在未來還是有望看到在家里就能使用的虛擬頭像系統。
>三顆錄影頭即可完成，Facebook虛擬頭像系統揭秘