尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
智東西（公眾號：zhidxcom）文 | Kiva
在剛剛過去的9月和10月里，隨著手機晶片AI化的兩個主流玩家新品的亮相，即華為麒麟980和蘋果的A12處理器的推出，手機端AI晶片2019年的競爭格局也隨之定下了基調。
智東西此前也曾探討過未來一段時間里手機AI晶片競爭的五大典型趨勢（決定未來的手機AI晶片五大趨勢，華為蘋果率先起跑）。這五大趨勢分別為架構升級、工藝制程升級、系統層建設、應用生態、體驗進化，而圍繞這五大趨勢的AI晶片行業升級，將很大程度上影響未來智慧型手機江湖市場格局。
而在智慧型手機領域，隨著智慧型手機廠商的競爭越來越激烈，智慧型手機市場不僅拼外形、拼服務，更是拼上了AI、拍照等「新技術、硬科技」。這些技術的做到離不開晶片作為核心進行支持。於是，智慧型手機之爭，也進一步演進到了晶片之爭。
說到AI晶片帶給智慧型手機在體驗方面的升級，華為的新款AI晶片麒麟980已從上一代的在拍照中進行物體識別、場景識別，發展到針對視頻中人體姿態、動作進行實時AI分析。
最近，隨著麒麟980的首搭機型Mate 20系列正式發售，智東西也在第一時間拿到該產品。我們選擇了五個最能體現AI晶片能力的功能場景來探究，達到最新7nm技術標準的AI晶片，在突破手機應用極限方面的表現到底如何？
AI晶片前沿技術的嘗鮮者——麒麟980
晶片是智慧型手機的大腦，在智慧型手機工作的每時每刻都在不停地進行著計算。因此，晶片也決定著智慧型手機的性能和應用的想像空間。
進入2018年下半年，手機端AI晶片也發展到了一個新的階段，7nm制程工藝落地、多核處理單元架構被華為、蘋果廣泛採用。麒麟980晶片作為這些最前沿技術的嘗鮮者，率先進行了落地。
雙核的升級也給麒麟980晶片的AI運算帶來了全面的提升，主要體現在視頻檢測、物體細節識別、物體分割這三方面上：原先單核NPU進行AI物體實時識別時只能認出輪廓，現在可以識別出畫面細節；原先只能實時處理圖像，現在則可以做到實時視頻檢測和處理；原先在做到畫面實時物體分割時線條輪廓較為粗放，現在在雙核NPU的驅動下則能做到更精細。
晶片行業本就費時燒錢，7nm工業制程下集成69億晶體管更是對物理極限發起了挑戰。華為消費者業務CEO餘承東曾在麒麟980的發布會上說，麒麟980晶片的研發費用高達數億美元(幾十億人民幣)。高昂的研發成本也成為了一堵高牆，將不少智慧型手機廠商阻攔在外。
縱觀整個晶片行業，目前高端智慧型手機晶片行業玩家並不多，只有蘋果、華為和高通三家。蘋果A12晶片已經搭載在新款iPhone上，華為的麒麟980也已經搭載在Mate 20系列上面世，高通的新一代7nm制程的AI晶片也將於今年年底正式亮相。
智慧型手機晶片行業的運算力也在幾位頭部玩家的帶領下，正在衝擊新的高峰。在經歷了一輪口水大戰之後，對新一代7nm制程工藝的AI晶片性能的考驗則到了見真章的時候了。
麒麟980超高計算最藝術應用：AI視頻留色
AI視頻留色是華為智慧型手機中新增的功能，其難點在於需要對視頻畫面進行實時識別和實時處理。不同於對圖片的處理，AI視頻留色需要對視頻進行實時處理，每秒需要處理幾十幀圖像，對手機晶片運算能力是一個巨大的考驗。
AI留色這一功能實際上是隱藏在相機錄像模式下的。點擊Mate 20 Pro相機進入錄像模式後，界面左側會出現一個魔法棒標誌，點擊魔法棒後會出現多種特效模式，其中第一個就是AI色彩，也就是我們說的AI視頻留色功能。
從實際的體驗情況來看，隨著人物的移動，色彩信息也會實時進行跟隨。除了對一個人物進行測試外，我們還進行了對多個人物識別畫面的測試。結果顯示，在多個人物出現時，相機會根據人物圖像在整體畫面中的比例，優先對占比大的人像進行處理。當兩個人物與鏡頭距離相當時，相機會對兩個人物都進行留色處理。
智東西從華為算法工程師處了解到，這一功能需要分兩步做到，首先是對鏡頭內的人物進行實時識別和摳取人像，其次是而將背景部分黑白化。在NPU的加持之下，畫面將會呈現出如電影《Sin City》里的鏡頭一般，營造出時空交疊般的錯覺感。
摳取人像和進行色彩保留並不是這項應用的難點，而要做到精準的實時識別並同時進行處理則最為考驗硬件能力。麒麟980在運行人體分割的算法時，可以做到每秒30幀的處理速度，能夠對視頻進行實時精準摳圖。同時，由於運算是在麒麟980晶片上運行的，即使在斷網狀態下該功能仍可以運行。
AI視頻留色功能使用的是華為自研的人體檢測和識別的AI算法。據華為軟件工程師介紹說，該算法通過了對5000部電影，多達十幾萬張影視圖像的模型訓練過程。在麒麟980雙核NPU、更高精度的深度網路的加持下，最終呈現出了Mate 20 Pro中的大片般的特效。
與此同時，AI視頻留色這一功能，也成為了麒麟980晶片彰顯超高計算力的典型代表，並成為華為手機中最具藝術性的內置AI應用。
麒麟980超高計算最新奇應用：卡路里識別
在麒麟970的加持下，華為智慧型手機已經可以做到對物體的識別，而在麒麟980的加持下，新一代的華為旗艦機在對基本物體識別的基礎上又增加了卡路里識別的功能。
打開相機，在拍照模式下，界面的左上角會出現「慧眼」標誌。這個「慧眼」是華為手機智慧識屏的入口，其中包括掃碼、翻譯、購物和識物四個功能。卡路里識別這個功能就隱藏在「慧眼」識物這一功能下。不過，「慧眼」需要在網路連接下進行，無法在本地進行識別的物體將被導入到第三方應用中進行查詢。
在識物模式下，你只需要將食物放置在鏡頭中，短短1秒中內，手機就能夠自動識別食物的品類，並可能出重量和卡路里數量。盡管這項應用聽起來非常有趣，但想要做到即用即查、並以AR形式實時顯示則對晶片的性能要求非常高。
從實際體驗上看，如果對同一個食物以不同的面進行掃描，其對重量的可能會有差異。與真實數據相比，卡路里識別這項功能與物體真實重量之間有一定差距。但從體驗的速度來看，在麒麟980的加持下，華為手機可以在1秒內完成對食物卡路里的識別。
據華為相關算法工程師說，卡路里識別過程其實是分為兩步的：首先是對物體的識別，在這個過程中需要同步調出食物的卡路里庫，包含的信息是以g為單位的該食物的卡路里數量；然後再進行體積可能，同時利用AR技術將結果標籤與畫面進行合成。
這位工程師還介紹說，目前基於麒麟980華為手機已經可以做到對100多種食物進行卡路里識別，能夠覆蓋大部分的水果，甚至是魚香肉絲類的普通家常菜。
麒麟980超高計算最安全應用：3D結構光解鎖
如今，智慧型手機成為人們形影不離的存儲設備，它不僅包含著各種文件、聯繫人信息，還存儲著各種銀行帳號、支付密碼、地理信息，關乎著人們的財產和人身安全。與此同時，智慧型手機的保密性和安全性也越來越重要。人們也在追求更為安全的解鎖方式，而當下被認為最安全的就是生物信息解鎖，以3D結構光解鎖最為典型。
在麒麟980晶片的加持下，新一代的華為旗艦機搭載了華為自研的3D結構光技術，據稱人臉解鎖的速度小於0.6秒。
在利用3D結構光進行人臉解鎖之前，需要錄入人臉的數據信息。用戶需要拿著手機向著上下左右等8個角度轉頭進行數據采集，系統會生成用戶的人臉數據模型作為樣本，用於每一次解鎖的數據比對。在實際體驗中，搭載了麒麟980晶片的華為新旗艦機可以做到抬手亮屏，在1秒內就可以做到解鎖。
筆者實際使用後的感受是，在麒麟980的加持下，華為新旗艦的人臉解鎖速度，比上一代Mate 10中的2D人臉解鎖更快。不過，為了保障點陣器將光斑精準地投射到臉部，用戶在使用時需要將臉部和手機之間保持一定距離。
智東西在與華為軟件工程師的交流中得知，在進行人臉識別和解鎖時，手機瀏海屏內搭載的點陣投影器會向人臉投射出超過3萬個臉部信息點，並用這些數據給用戶的臉部繪制一個精細萬張的3D臉部模型。在每一次解鎖時，處理器都需要對這3萬個點攜帶的數據信息進行計算和比對。需要運行識別人臉的特徵的算法，由於對計算力要求較高，這一算法必須跑在NPU上。
由此看來，每一次3D人臉解鎖的過程，對智慧型手機晶片都是一次運算力的大考驗。而在應用上，麒麟980也賦予3D結構光更多的應用場景，在Mate 20 Pro上還有3D智能美顏、3D Qmoji表情、3D建模等諸多應用。
麒麟980超高計算最實用應用：個性化景深控制
圖像處理是當下AI技術的發源應用，在智慧型手機中，拍照、處理圖片成為最典型同時也是最豐富的應用。在AI晶片的加持下，場景識別、物體識別等多種拍照應用已經成為了智慧型手機的標配。
景深控制是在在攝影藝術中非常常見的一種形式，它的基本原理是：在景深範圍內景物影響的清晰度是不完全一致的，焦點的清晰度最高。而對於相機來說改變焦點的位置，才能呈現不同的景深程度。
而在麒麟980的加持下，華為新一代的旗艦機則能支持個性化景深控制（Bokeh），可以使用戶自主調節背景的虛化程度。這一功能的做到並非需要重新調整手機焦距重新進行拍照，而是在麒麟980上通過運行特定的AI算法進行做到的，其與傳統相機的區別則可總結為「先拍照後對焦」。
景深控制位於Mate 20相機中人像模式下，啟動開關位於界面左側，Logo看起來像是個星星，其中提供的景深模式包括圓形、心形、旋焦和魚鱗四種景深模式。值得一提的是，景深控制還可以配合人像模式下的影棚光、炫彩、窗影、波普光、劇場光五種光效以及最高10級的美顏功能一起使用。
從實際體驗來看，在麒麟980的加持下，特殊景深控制、特殊光效和美顏功能都可以一起做到。不過，在對人像摳圖的邊緣處理上有些瑕疵，但相比於大部分的圖像處理軟件來說，效果還是非常好的。
在與華為軟件工程師的交流中，智東西了解到，景深控制的原理主要是對圖像背景虛化的控制，運用的也是物體識別與分割算法。首先需要分割出人體的區域，然後再調用虛化和模糊包模版，對背景進行虛化。而這種算法對運算力的要求非常高，必須在NPU上才能進行。
因此，在麒麟980的高運算力加持下，個性化的景深控制等以往需要長時間修圖處理才能獲得的藝術感已經能讓人們在分秒之間輕鬆獲得。
麒麟980超高計算最刺激應用：GPU Turbo 2.0
從2005年休閒類遊戲開始興起，到2016年下半年手遊市場爆紅，遊戲品質和市場規模一直在快速攀升，更是出現了多款現象級火爆手遊，如《王者榮耀》和《絕地求生》。加之AR/VR技術的出現，對移動端的圖像處理需求也呈現井噴狀態。但另一方面，移動終端GPU性能的提升速度較慢也愈加明顯。
今年6月，華為推出了軟硬件結合的圖像處理加速技術——GPU Turbo，通過協調硬件、系統和應用三個層面，加速手機的圖像處理，為整個智慧型手機行業圖像處理加速帶來了全新的思考方向。
GPU Turbo技術打通了EMUI操作系統以及GPU和CPU之間的處理瓶頸，在系統底層對傳統的圖形處理框架進行了重構，做到了軟硬件協同，使得GPU圖形運算整體效率得到大幅提升，畫質、性能提升的同時，能耗下降，打破了性能與能耗的蹺蹺板。
隨著麒麟980的面世，華為全新的EMUI 9.0系統也正式亮相，其中將GPU Turbo技術升級為2.0版本。借助GPU Turbo 2.0全面提升的圖像處理效率和AI調頻調度的加持，Mate 20系列發揮了麒麟980處理器的性能特色，將遊戲、視頻中的圖像延遲優化降低36%，由95毫秒降到60毫秒)，從而保持持續穩定的高達60幀率的遊戲體驗。
從實際體驗來看，在麒麟980硬件和EMUI 9.0系統的加持下，GPU Turbo 2.0在荒野行動中不卡頓，非常流暢。在類似《荒野行動》這種手遊中，整個過程中都保持了不錯的遊戲體驗。
當下以智慧型手機承載的手遊、視頻等娛樂活動成為了人們日常娛樂生活中不可或缺的一部分，人們對遊戲畫面、運行速度的要求也越來越高。在GPU Turbo 2.0與麒麟980完美的配合下，華為智慧型手機也給用戶帶來了流暢到爽的遊戲體驗。
結語：新一代AI晶片帶來智慧型手機跨越式AI體驗
進入2018年，整個智慧型手機AI晶片產業鏈都被聯動起來，除華為、蘋果兩個同步玩家競相追逐外，三星、高通、聯發科等都在湧入激烈的市場競爭中。
與此同時，智慧型手機AI晶片也正呈現出新的發展態勢，7nm制程工藝、多核處理單元、專用處理模塊等新的技術和生產模式，正在不斷築高手機AI晶片產業的壁壘。
另一方面，隨著搭載新一代AI晶片的旗艦機的落地和發售，AI晶片給智慧型手機的AI體驗也帶來了跨越式進展。
從只能對圖像進行處理到對視頻進行實時處理，從場景識別拍照到個性化的景深控制，再到對3D結構光人臉解鎖和食物卡路里識別，麒麟980晶片再飛速提升智慧型手機運算力的過程中，也將更多以前無法想像的有趣、有用的功能帶給了用戶。
而在AI晶片提升智慧型手機體驗的同時，智慧型手機行業的技術競爭也正進一步加劇。其中，如華為這樣擁有晶片等核心技術能力的廠商，正在引領著這場競爭的技術風向。
