尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
運動捕捉技術是借助慣性、光學傳感器，重建精確的人體三維模型資訊的一種特效技術，通常在影視劇及遊戲特效制作、運動員動作分析、患者康復評估等專業領域被廣泛應用。相比高技術門檻、高成本的專業操作，騰訊微視近期在手機上實現了運動捕捉技術，國內首次在移動端實現人體3D Mesh重建，用戶只需拿起手機拍攝或上傳一張全身照，即可體驗黃金聖鬥士的鎧甲實時貼合在人物身上。
（圖：騰訊微視「聖鬥士集結」效果展示）
一鍵變身黃金聖鬥士，集結最強戰隊燃燒小宇宙
該技術首次通過黃金聖鬥士鎧甲換裝的玩法，在騰訊微視APP內落地。用戶可參與「聖鬥士集結」活動，即可一鍵穿上聖鬥士們的黃金聖衣。用戶可通過搜索「聖鬥士集結」關鍵字進入活動頁面，或者點擊首頁底部+號進入拍攝界面，也能找到活動入口。
（圖：騰訊微視「聖鬥士集結」活動主界面）
用戶可上傳或拍攝一張正面照片，系統即可自動識別照片姿勢，給人物全身換裝黃金聖鬥士鎧甲。或者在拍攝頁面選擇聖鬥士相幹特效，全身入鏡即可變身聖鬥士，即使在拍攝過程中處於運動狀態，黃金盔甲特效也會實時計算跟蹤。在拍攝特效界面，可召喚多個星座的聖鬥士，如黃金射手座、雙子座撒加、處女座沙加等。
（圖：騰訊微視「聖鬥士集結」體驗步驟）
動捕技術移動端首秀，微視自研手機3D Mesh算法
現如今短視訊領域的諸多玩法，背後的技術能力主要分為四種：人臉2D關鍵點檢測、人體2D關鍵點檢測、人臉/頭 3D Mesh重建、人體3D關鍵點檢測。但想要實現上傳一張照片，或拍攝運動狀態下的人物都穿上黃金聖鬥士鎧甲的效果，則需要實現從普通圖像中重建出人體3D Mesh，才能將人體的身材用鎧甲包裹住，並且保證能夠在手機上實時運行。
（圖：人體3D Mesh重建效果展示）
騰訊微視為了獲取到高質量的3D人體Mesh重建數據，獨立搭建了一套全新的動捕系統，並使用並基於這套系統開發了相應的Mesh重建算法，使其能更高效地進行訓練數據的迭代，解決更多場景和姿態下的問題，增強模型的泛化性能。通過重建7千多個頂點和1.5萬的面片，還原人體的基本動作，甚至預測出人體的高矮胖瘦。最終，渲染引擎根據這些資訊給視訊中的人物「穿上」盔甲。
在基礎技術儲備完成後，騰訊微視團隊主要從數據集制作、算法流程改進、網路結構搜索、移動端工程優化以及算法細節打磨等幾個方面對算法進行了優化。比如對上萬個貼近手機端用戶拍攝內容的視訊數據進行采集、標註、清洗；對網路Backbone結構的設計與優化等。
（圖：騰訊微視「聖鬥士集結」效果演示）
算法渲染設計多部門協同配合，量身定制優化方案
從最開始的CV技術研發、到移動端的部署以及渲染，整個技術生產鏈條的打通離不開各部門團隊間的多番協作。該項目調動了騰訊PCG內部多個技術團隊，包括OVBU拍攝算法團隊、應⽤研究中⼼、光流產品中⼼和MXD創意平臺設計中⼼。技術是第一步，特效的渲染和設計打磨也是特效出街前的必然步驟。
在特效渲染層面，微視技術團隊基於重建的人體 3D Mesh 量身定制了一套AttachToBody的渲染方案，確保高質量的渲染效果。此外，技術團隊開發的自定義材質系統，也為玩法提供了更自由靈活的材質與光照解決方案。在性能方面，為了提升效果整體的覆蓋率，在低端機上採取了Material Capture材質捕捉技術方案，用較小的計算成本擬合出近似PBR的真實感效果。同時在一些高頻且量大的矩陣計算中啟用了NEON加速方案，整體降低了數學計算耗時。
在視覺效果優化層面，設計團隊通過對微視引擎的了解，設計出高標準且不超綱的設計，從研發、調整到打磨階段都與技術團隊強綁定，明確優化方向，給出優化建議；輔助優化引擎渲染能力，對特效的衣服貼合度與跟隨性，身體比例協調性，衣服視效等方面進行了多輪打磨，最終達到較高標準的效果質量。
（圖：騰訊微視「聖鬥士集結」視覺優化過程）
一直以來，騰訊微視高度關註技術研發，未來也將持續圍繞三維人體重建來進行創意特效設計與研發，不斷提升3D重建精度，解決更多拍攝場景的需求。在人體形變、人體驅動虛擬角色等方面也將努力有進一步的突破，為用戶提供更酷炫好玩的特效新體驗。據了解，騰訊微視發布器團隊正在大力招聘中，吸納更多技術創新研發、創意視覺玩法等方面的專業人才進入，來挖掘更優質的創意玩法，打造行業一流的短視訊發布器一體化解決方案。