尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
近年來直播行業風生水起，各大互聯網巨頭都紛紛推出自家直播產品進行市場份額爭奪，導致移動直播也成為火熱的垂直領域。不過由於直播產品的特性：高時長使用、網路高度依賴、資源不匹配差等，成為了制約用戶體驗的難題，雖然直播平台雖推出了一系列解決方案，但是效果並不明顯，本質上仍需要直播平台、移動平台、算法平台等多方協作。
對於直播來說，用戶體驗顯然是最重要的。例如不少用戶都會遇到視頻卡頓、幀數過低，甚至是畫面大面積模糊這類情況，這當中除了網路環境會帶來相關差異以外，直播所使用的移動終端對高清圖像解碼能力的差異也會帶來巨大影響，也因此導致了上遊IC晶片廠商強化了直播的用戶體驗。我們注意到近期發布的聯發科Helio P90將時下最前沿的移動AI技術結合直播，獨特的AI焦點直播確實給用戶體驗帶來很大的提升。
聚焦臉部特徵展現，AI焦點直播大幅提升用戶體驗
首先我們來解釋下AI焦點直播的意思，實際上這是聯發科Helio P90晶片上的一項全新AI應用。簡單來說，就是當用戶使用搭載聯發科Helio P90平台的智能設備進行直播時，直播平台會啟用P90的AI編碼框架，配合APU 2.0的算力, 找出直播過程中被認定為重點的區塊進行高碼率編碼，而不重要的區塊則減低碼率。
聯發科Helio P90平台（左）展示的焦點直播特性，有效優化臉部特徵。（圖/網路）
如此一來，可以讓有限的網路頻寬保留給重要的物件，例如人臉、玩偶等焦點，做到在正常光線下對直播主的美顏美肌、暗光環境下優化直播主核心的臉部特徵的技術特徵，讓直播主這個「實時焦點」顯得更加突出。很有意思的是，聯發科這項技術在發布之後就受到了大量直播用戶的關注。
其實在聯發科P90的AI焦點直播推出前，就已經有不少的第三方直播美顏軟件，但這些軟件更多意義是讓整個直播畫面變的明亮，或者是簡單的提升直播主的膚色等，不僅存在畫面失真的情況，而且能使用的平台單一，無法跨直播平台使用。換句話說，直播美顏更多是直播平台自家的後台算法針對人臉偵測，既無法實時做到畫面焦點的優化，也無法做到非人臉的局部焦點編碼，體驗相當的局限。
傳統的直播基本上只是針對畫面做微幅處理，算法比較簡單。（圖/網路）
聯發科P90的AI焦點直播顯然就是針對這一體驗做出的特殊優化，它與普通直播美顏軟件最大的區別就是調動了底層硬件，並配合AI邊緣計算、特殊編碼來做到三方協作，得益於每秒高達11270億次的定點乘累加能力，可以通過人臉偵測引擎使（AI+ISP）來進行高強度的運算，這個過程中可以熟記和鎖定畫面焦點的細節特徵，在弱光和運動條件下實時準確地檢測人臉和場景。值得一提的是，目前除了聯發科P90外，還沒有其他的SoC具有這種功能。
既然聯發科P90具備AI焦點直播功能，具體能帶來怎樣的效果？簡單來說通過AI焦點直播不只做到傳統的美顏美肌美白瘦臉，還不只做到傳統的美顏美肌美白瘦臉，還可以讓直播主的臉部更清晰，有效降低人物臉部MPEG編碼所造成的馬賽克效應，目前用戶通過聯發科Helio P70、P90的手機都可以享受到AI焦點直播的魅力，下一步虎牙直播、鬥魚直播、YY直播、抖音等都有希望會接入到聯發科P90的解決方案中，甚至未來微信視頻、QQ視頻，乃至廠商自家開發的在線視頻串流功能都同樣可以做到AI焦點直播的效果。
AI焦點直播的背後，強大的APU 2.0提供算力支持
很多用戶持疑，其他晶片不能做到AI焦點直播功能嗎？其實AI焦點直播的背後是強大的AI算力需求，傳統的CPU運算能力和GPU圖形編碼能力不足以支撐這種新型的視頻直播方案。
傳統移動終端負責視頻解碼的硬件主要由CPU+GPU+DSP這三大部分來完成，其中DSP負責的稱之為硬解碼，而CPU則作為輔助軟解碼運算。但是他們的缺點都十分明顯，DSP作為硬解碼方案，算法已經完全固定下來（部分可以通過固件更新），所以只能解碼它所支持的，如果對編碼處理不同有可能就無法解碼成功，進而導致直播過程中產生花屏卡頓甚至綠屏的情況出現。 而CPU軟解碼對於算法的擴展能力雖然比DSP強，但是其本本身就是耗電大戶，隨著直播清晰度的提升，做高強度的軟解將大量的消耗終就不寬裕的電力資源，這對於移動終端來說是致命的缺陷。
目前聯發科技P90的焦點直播技術則是基於APU 2.0模塊提供的強勁AI算力（根據跑分顯示，P90的AI算力已經超越高通855），通過錄影頭捕捉到的人物頭臉部畫面，APU將該區域在系統內做特殊標註，分析影片中的紋理、邊緣鋸齒、顏色等信息，主動定義可能含有臉部特徵的ROI區域（Region Of Interest, 感興趣區域），針對這些區域每秒可做到上億次運算，最終能帶來精準的焦點鎖定與優化，做到碼率與視頻壓縮質量的提升。
借助於AI算力，聯發科P90對噪點的控制會比傳統的CPU和DSP方案有更好的效果。而更重要的一點在於AI引擎的運作大大降低了CPU和DSP運作的強度，對於電力敏感的移動終端來說，極大的提升的續航能力，進一步提升直播中的用戶體驗。
整體來看，聯發科P90的AI焦點直播確實是切中了直播業平台和用戶的痛點。在全民直播的時代，高清畫質輸出意味著平台方需要不斷加大帶寬成本的投入，對於不少中小型平台來說是相當難以承受的開支，而Helio P90將原先只能在B端（平台方）尋求解決方案的問題，轉而通過C端（用戶方）設備進行強力的輔助和優化，對於促進直播產業的發展和效率提升也有著相當大的幫助作用。
據悉搭載聯發科P90的智慧型手機將在2019年第一季度上市，屆時將刷新智慧型手機在直播上的體驗。得益於幾代產品在AI上的鋪墊，聯發科已經把智能的觸角應用到分類管理、物體識別、拍照相機、語音文字識別和SR高清分辨率領域，並串聯起包括智慧型手機、智能電視、物聯網設備等在內的終端產品，不僅提高了用戶體檢，也定義了新高端的品牌定位，更提高了品牌價值，走出了不一樣的AI之路。