計較機視覺技能的又一巨大大進步！檢測人複雜手部姿勢並跟蹤多人！

來自卡內基梅隆大學機器人研究所的一組研究人員開發了一種算法，可以檢測和讀取視頻中的多個人的身體姿勢和動作，包括每個人手指的姿勢。

該方法是使用來自PanopticStudio，Panoptic Studio是一個兩層的圓頂，內置480個VGA錄影頭，運行速度為25fps，使用硬件時鐘自動同步，31個高清錄影頭以30 fps運行，與硬件同步時鐘，標定它與VGA錄影頭的空間位置。此外，該球機還具有10個Kinect II 3D深度傳感器（1920 x 1080（RGB），512 x 424（深度），以30fps運行，標定它與其它傳感器的位置）以及5個與高清錄影機同步的數字投影儀。

480 VGA錄影機採用全局快門CMOS圖像傳感器，固定焦距為4.5 mm，模塊化排列，24個錄影頭，圓頂上有20個標準六邊形面板。高清錄影機位於這20個面板的中間位置，以及許多不包含任何VGA錄影機的面板中間。十個Kinect II 3D深度傳感器策略性地放置在圓頂內部。所有這些組件協同工作，為「互動捕獲」提供了一個龐大的Multiview系統。

從工作室獲得的信息，卡內基梅隆大學的研究人員正在開發OpenPose，這是一個使用OpenCV和Caffe用C ++編寫的實時，多人關鍵點檢測和多線程庫。 OpenPose代表了第一個在單個圖像上聯合檢測人體，手和臉部關鍵點（總共130個關鍵點）的實時系統。此外，據研究人員稱，系統關鍵點檢測的計算性能不受到圖像中檢測到的人數增加而變小。

研究人員表示，無論是實時跟蹤多人還是姿態檢測，都是巨大的挑戰，特別是後者。當人們用手握住物體並做出手勢時，相機不可能同時看到手的所有部分，並且與臉部和身體不同，大型數據集不存在已用標籤註釋好的手部圖像。

但對於每一只只顯示部分手部的圖像，通常會有另一個角度來自不同角度的圖像，手部的全部或互補視圖，這是Panoptic Studio發揮作用的地方。

「單次拍攝可以讓你看到一個人手的500個視圖，另外還可以自動註釋手的位置，然而，手太小，無法通過大多數相機進行註釋，因此在本次研究中，我們僅使用了31台高清錄影機，但仍能夠構建大量數據集。」

「Panoptic工作室非常支持我們的研究，」謝赫說。「它現在被用於通過聯合訓練來改善身體，臉部和手部探測器。此外，隨著從人類的二維模型轉移到三維模型，該設施自動生成帶註釋圖像的能力將是關鍵。」

總之，多幅圖像的聯合算法為我們提供了全面的信息，Panoptic Studio集成式的拍攝提供了可能軟硬件的結合之下，我們能獲取到更準確的信息，為我們的決策提供依據。檢測人複雜手部姿勢並跟蹤多人！這將是計算機視覺技術的又一巨大進步！

尊重原創，歡迎轉載，轉載請註明

「原創外星眼機器視覺微博微信ID：UFO-VISION」