尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️
hi188| 編輯
近期正在韓國首爾國際計算機視覺大會(ICCV)上,一大波的AI研究繼而公布,Facebook計劃發表40多篇論文,其中我們關注到2D照片下三維場景重建與內容理解,等等3D圖像分析的研究。
這些有什麼作用呢,我們知道隨著5G技術和千兆寬帶的普及,屆時的互聯網媒介形式勢必也會迎來改變,其中以AR/VR體驗的三維形態的媒體內容被看作重點方向。
隨著場景形態逐漸向三維轉變,屆時將會迎來一個高度逼真的虛擬世界,而三維內容的理解也將變得更為重要。例如現在的AI技術可以很好的識別2D照片/視頻中的物體、動作等等,而到了三維場景中又會迎來新的玩法。
Facebook AI研究院今天發布的一篇博客中,著重提到了其在3D內容理解上的努力。
文章中提到,想要了解周圍的世界的前提是,AI必須能夠理解三維視覺場景,這種需求不僅僅體現在機器人、導航、AR/VR等方面,甚至在2D照片/視頻中也得能夠正確識別出其中的一個杯子的三維形狀等等。
以下的幾項研究,正在以不同但互補的方式來推進三維場景解析技術的發展。
-
Mesh R-CNN,一種可以精準預測現實環境中2D圖像中物體的3D形狀的框架,其可以檢測複雜的對象,比如椅子腿兒、被遮擋的家具等;
-
C3DPO,一種在2D關鍵點註釋中,提取出可變性對象的3D模型的方法,已用於14個類別的對象,通過2D關鍵點標註做到,無3D標註信息;
-
通過新方法學習圖像像素與3D形狀之間的關聯,大大降低對註釋訓練的依賴,從而更接近可以做到更多種類對象3D重建的自我監督系統;
-
VoteNet技術,可在LiDAR或其它3D傳感器輸入可用時,進行對象檢測,該系統完全基於3D點雲技術,精度更高。
如何更好的解析出3D形狀
包括Mask R-CNN在內的很多圖像解析AI框架,往往是在2D環境中進行工作,在3D環境下可能並不適用。不過,憑借2D環境中的感知技術作為積累,Facebook重新設計了一個3D對象重建的AI模型。
該模型的特點是可在現實的場景圖片中去預測3D對象的形狀,而這其中的挑戰在於光學部分,例如:是否有遮擋,是否有雜波以及其它拓撲的對象。
為了應對挑戰,首先通過網格預測分支加強Mask R-CNN在2D對象分割系統,並構建Totch3d(Pytorch庫)從而做到:Mesh R-CNN,其通過Mask R-CNN進行對象的檢測和分類。然後通過新型網路預測模型推測3D形狀,該預測包含體素預測和網格細化共同構成。
最後通過Detectron2完成整套框架的結構,即:輸入RGB圖像–檢測物體–預測3D形狀的過程。
據悉,Facebook的新型方法支持成對圖像和網格的完全監督學習預測3D形狀,為了進行訓練,Facebook還是用10000對圖像和網格組成的Pix3D數據集,這個數據集比其它訓練數據集(通常10萬個圖像、需進行標註)要小很多。
最終在兩個數據集上進行Mesh R-CNN的評估,效果比較理想。在Pix3D數據集上,能夠檢測所有類別對象,並能預測出被遮擋的家具的完整形狀;而在ShapNet數據集上,體素預測和網格細化的混合法比以前要好7%。
準確預測、並重建現實世界中無約束的場景形狀,無疑是增強未來AR\VR等其它類似體驗的重要工作。聯想到Facebook在今年OC6公布的共享空間和3D重建體驗,以及未來面向AR和機器視覺等眾多體驗的合集LiveMap,這些都是技術的基礎。
盡管如此,和2D圖像相比,3D圖像在收集註釋數據的工作上要複雜得多,且更為耗時,這也是3D形狀預測數據集比2D對應數據集進展要落後的原因,而接下來Facebook也在探索更多不同的方法,利用監督學習和自我監督學習來重建3D對象。
使用2D關鍵點重建3D對象類別
對於那些無法使用網格和圖像訓練、且無需完全重建靜態對象/場景的案例,Facebook開發了一種新的代替方案:C3DPO,其通過大量豐富的2D關鍵節點數據,進行監督學習做到更好的重建結果。而C3DPO以弱監督的方式解析出3D幾何形狀,且被證明適合大規模部署。
其中特定部分(例如人體關鍵、鳥翅膀)的2D關鍵點,成為了該方法中重新構建對象幾何形狀、變形或視點變化的線索。這些3D關鍵點利用價值也很高,例如在VR中創建逼真的臉部和全身網格模型時。
簡單來講,C3DPO是一種能重建包括數十萬具有上千個2D關鍵點的數據集方法,並且針對三種不同的數據集、14種以上的非剛性物體類別,進行精度重建。另外,和Mesh R-CNN類似,C3DPO同樣支持那些有遮擋或部分缺失圖像。
而C3DPO模型還具備兩個創新,一是,在給定一組單眼2D關鍵點的情況下,C3DPO將以標準方向預測相機視點的參數和3D關鍵點位置;二是,Facebook提出一個新的正則化技術,其包括與3D重建網路模型共同學習的第二個輔助深度模型,它解決了因分解3D視點和形狀帶來的衝突。正是基於這兩項創新,才是C3DPO的方法比傳統的數據統計模型表現更好。
根據Facebook描述,這種3D模型構建在以前是無法做到的,主要由於此前基於矩陣式分解的方法有很多限制,與C3DPO採用的深度網路模型不同,其能夠「小規模」運行。為了解決3D重建帶來的變形問題,此前往往通過同一時間多張圖像合成解決,這對硬件要求更高,而C3DPO則可以在硬件無法進行3D拍攝(例如飛機等體型特別大的物體)的情況下做到3D重建。
另外還有從圖像集學習圖形像素與形狀的映射關係,以及提升3D系統中對象檢測能力的兩個論文本文不再解讀,感興趣可閱讀原文了解。
總而言之,3D計算機視覺領域還有很多值得探究的領域,還有很多問題尚未被解決,還需要像此前進行2D計算機視覺探索那樣繼續前行。隨著數字世界的不斷推進,我們將會轉向使用3D照片、AR、VR等技術,因此未來需要更準確的理解場景中對象、交互動作等一系列複雜的問題。Facebook表示:能夠開發出向人類一樣理解現實世界,並與之互動的AI系統是其長期目標。誠然,這就需要不斷縮小物理空間和數字化的虛擬空間之間的隔閡與距離,而在3D視覺方面就還有很多工作需要大家共同努力。
隨著數字世界的不斷推進,我們將會轉向使用3D照片、AR、VR等技術,因此未來需要更準確的理解場景中對象、交互動作等一系列複雜的問題。
Facebook表示:能夠開發出向人類一樣理解現實世界,並與之互動的AI系統是其長期目標。誠然,這就需要不斷縮小物理空間和數字化的虛擬空間之間的隔閡與距離,而在3D視覺方面就還有很多工作需要大家共同努力。
參考:
https://ai.facebook.com/blog/pushing-state-of-the-art-in-3d-content-understanding/
(END)
推薦閱讀
每天五分鐘,輕鬆了解前沿科技。——青亭網