尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
AI熱潮來勢洶洶，即便算法還不成熟，處理器算力還不足夠，但大部分手機廠商已經讓其旗艦手機用戶或多或少地享受到了所謂的AI功能。其中，蘋果和華為更是用集成NPU的自研處理器增強其手機的AI功能作為一大賣點。有意思的是，無論是手機處理器市場市占最高的高通還是目前移動設備處理器IP最重要的提供方Arm，都遲遲沒有推出集成NPU的處理器，這究竟是為什麼？
Arm的AI處理器時間上已經落後？
AI迎來了第三波熱潮，但目前AI晶片受到了更大的關注，其中除了有晶片算力是AI發展的基礎外，AI晶片市場的迅速增長也是一個重要原因。Allied Market Research發布的一份報告指出，2017年全球機器學習晶片市場規模約24億美元，預計到2025年這一市場規模將達到約378億美元，復合年增長率（CAGR）為40.8％。
因此，我們看到不同類型的AI晶片不斷地被大大小小的公司推向市場。對此，Arm機器學習部門商業與市場副總裁Dennis Laudick接受雷鋒網專訪時表示：「從CPU、GPU發展的歷史看，剛開始市場上會有多種多樣的選擇，但市場最終會收斂和融合，留下最合適的產品。我相信NPU的發展也會遵循同樣的規律。」
Arm機器學習部門商業與市場副總裁Dennis Laudick
在眾多新入局AI晶片市場的公司中，值得注意的是以前更加擅長軟件的科技巨頭們都紛紛開始自主研發AI晶片。對此，Cadence首席執行官、華登國際創始人陳立武此前接受雷鋒網採訪時表示科技巨頭們積極布局AI是因為他們不希望落後，因為他們有很多數據。Dennis Laudick也發表了自己的看法，他表示：「AI發展中訓練和推理都非常重要，科技巨頭有大量的數據，因此也有包括機器學習在內的許多需求。他們在構建自己AI生態的時候在AI算法和模型層面更多是依賴學校的研究，因此他們對硬件更感興趣。」
不過，作為全球最大的IP授權商，也是目前移動處理器IP首要的提供商，Arm直到2018年初才首次公開其ML處理器（Machine Learning Processor）的相關消息，產品的正式發布要到明年。這是為什麼？Dennis Laudick說道：「我們一直都在關注AI的進展，在機器學習方面的工作也已經有幾年的時間，最新的Arm Cortex A57/A75/A76都有對機器學習的擴展。雖然我們多年來一直致力於機器學習，但這項技術存在一些問題，也不穩定。如數據類型，到底是整數還是浮點數，FP16，FP32，8位整數誰更適合機器學習，針對此現在已經有大量的研究。但要在早期的市場上要提供解決方案就需支持所有的數據類型和模型，而不是優化，這會帶來處理器面積大且耗電的問題，我們需要等待技術的穩定。」
因此，對於想要讓機器學習技術更加簡單易用的Arm而言，方法有兩個，一個是不斷改善現有處理器，另一個就是推出新的神經處理單元（NPU）。在技術還不夠穩定的時候我們看到Arm不斷改進Cortex CPU和Mali GPU，並配合軟件做到AI功能。對於Arm推出NPU的時間點，Dennis Laudick表示：「最近我們已經看到機器學習技術正在穩定和成熟，市場需求也正在不斷增加，我們認為現在是進入市場的最佳時機。」
可以認為，基於Arm在處理器IP市場和整個生態鏈的關鍵地位，推出ML處理器的時間點晚一些不是什麼大問題，更吸引人關注的是Arm的ML處理器到底如何。
Arm明年第一季度推出AI處理器
對於將在2019年第一季度發布的Arm ML處理器，Dennis Laudick介紹，其定位與現有的Cortex CPU一樣是系列產品，根據市場需求會性能範圍是1-4 TOP/s，匹配不同的CPU滿足手表、手機、智能家居、汽車等市場的需求。Arm ML處理器主要有三個部分，一個是MAC引擎，主要執行卷積計算；二是可編程引擎，可以支持未來新的算子和網路；三是數據管理，減少AI計算的耗能。
他特別指出，Arm在ML處理器的數據管理上做了很多的設計和思考，因為AI的數據搬遷比數據的計算更耗能。他們分析AI處理器中卷積運算所需的能量占不高，但數據的管理和搬遷可能是運算所需功耗的一百倍。因此他們通過分析技術降低功耗，其中一個技術是數據的壓縮，可以減少數據的搬遷量，另一個是選擇神經網路單元權重激活或者不激活，還有就是數據的過濾，用特殊的方法免除不必要的加工。他們希望通過對不同場景的深入分析，盡量做到數據高效、多次使用，減少數據搬遷降低功耗。
當然，即便是經驗豐富的Arm，認識到AI處理器最重要的是數據管理也走了一些彎路。Dennis Laudick表示：「Arm有很多種不同類型的處理器技術，當我們第一次看到機器學習時想到的是是否可以從其中的一種處理器開始，因此我們開始用了GPU的方法，但最終發現機器學習處理器面臨的不是處理問題而是數據問題，所以取消了早期GPU的方法，創建了一個全新的處理器專注於數據以及機器學習中的數據類型，可以執行並行指令。」
Dennis Laudick也同時指出，無論是CPU、GPU、FPGA還是ASIC都可以運行機器學習算法，不同點在於比如做到同樣的人臉解鎖功能，GPU需要的時間少於CPU，而NPU則能夠做到最快的速度和最低的功耗。引人思考的是，Dennis Laudick認為不同類型的AI處理器適用於AI早期市場，機器學習領域市場最終可能是CPU占80%的市場，NPU占20%的市場。他認為CPU在不斷改進，而市場上更廣泛的NPU也不斷出現，最終GPU和FPGA將會消失，留下最通用的CPU和最專用的NPU。
不過，在Dennis Laudick看來軟件才是AI處理器中更關鍵的部分。他表示：「Arm的AI處理器是一個異構的系統，其中包含CPU、GPU、NPU等，但作為IP核想要做到更好的可配置性軟件體系非常重要。所以在硬件之上有我們特別優化的Compute Library，它會把底層的硬件和驅動進行充分優化，根據算子的不同需求驅動硬件，可以提升幾倍到十幾倍的效率。再上一層是Arm nn，可以將TensorFlow、Caffe等神經網路框架轉換成Compute Library可以執行的任務，讓開發者不用關心底層的硬件，只需要使用標準架構進行開發就可以。」
至於Arm nn以及Compute Library是如何做到根據需求做機智性的決策充分發揮異構系統的優勢的問題，Dennis Laudick表示，Arm實際上借助了許多專家的分析，通過跨越團隊的專家團隊分析應用程序和軟件，試圖找到瓶頸和限制，最終保證軟件非常優化。為了讓Arm nn和Compute Library更加優化，Arm也鼓勵硬件架構師和軟件分析團隊緊密合作。
還可以看到，Arm Project Trillium中除了有ML處理器、NN SDK，還有OD（Object Detection，對象檢測）處理器，Arm認為，手機、錄影頭、汽車等都是機器學習中對象檢測的頭號應用，因此對象檢測市場足夠大，值得做一個額外的處理器，特別是針對物體識別。
AI處理器獲勝軟件和數據更關鍵？
需要指出的是，NPU是目前執行機器學習任務效率最高的處理器，但對價格比較敏感的產品，NPU的成本難以承受，只擁有CPU，並且使用CPU處理機器學習就已足夠。因此在物聯網和AI領域，基於RISC-V指令集的CPU也受到了不少的關注，一些人也認為RISC-V處理器未來將會在物聯網智能終端成為Arm的競爭對手。
對此，Dennis Laudick表示：「基於RISC-V指令集的處理器是一個CPU，它並沒有真正與我們的NPU產生競爭，在CPU方面，我們已經進行了兩到三代的機器學習改進，比如支持向量擴展，RISC-V也開始實施其中的一些改進，不過這些事情我們已經做過。」
他進一步指出，在機器學習方面，很多晶片公司專注於硬件，與他們有所不同，為了能夠讓每個人都能更好地獲得機器學習，我們最重要的事情就是確保軟件生態系統具有一致的平台。因為程序開發人員創建一個應用程序是希望其能夠運行在更多設備上，通過提供一個通用、穩定的軟件平台，能夠確保我們拓展CPU以提高機器學習的能力。並且我們為市場提供新的硬件功能時，軟件社區也會變得非常有創意。軟件生態系統是Arm成功的關鍵所在，Arm推出良好的處理器是因為軟件生態系統有這樣的需求，這也是Arm過去20年已經做的事情。
雷鋒網也了解到，為了能夠更好的構建軟件生態，Arm將會選擇與工程師、軟件公司等進行廣泛合作。其中也與Android生態的大公司進行了合作，Arm在中國生態系統中的大公司花費的時間也越來越多。因此，Dennis Laudick認為近兩年的AI熱潮會對於軟件行業帶來革命性的變化，因為傳統的軟件在概率判斷，評估猜測方面有一些局限性，AI對概率判斷的準確度和猜測的準確度上有其特點，AI也將帶來軟件2.0的時代。
至於許多人都關心的在AI晶片市場中誰將取得最終勝利的問題，Dennis Laudick認為：「AI還處於比較早期的階段，現在判斷誰能勝出為時尚早。不過，全球的大公司都在AI上投入了大量的資金，但有一個巨大的差異是中國的公司更容易獲得數據，也能更輕鬆的使用這些數據，所以我認為在機器學習方面中國的公司在數據方面更具有優勢，但還不知道它將如何發揮作用。」
雷鋒網小結
Dennis作為擁有20餘年移動、汽車與消費電子領域從業經驗的資深人士，對於AI發展有著自己的觀察，對Arm的AI處理器的解讀也讓我們得以更進一步了解即將在明年第一季度發布的Arm ML處理器。在算法、模型都還不夠穩定的時候，作為提供處理器IP和通用處理器的公司，Arm和高通沒有著急推出NPU，而是通過優化硬件和軟件提升AI性能是一個明智的選擇，畢竟他們與華為和蘋果這樣手機處理器只為自己所用的公司有著巨大的差別。
在整個採訪的過程中，Dennis反復提到軟件的重要性，這對於一些AI晶片企業而言或許是一個提醒，畢竟現在已經有越來越多的IC設計公司意識到了AI時代與軟件團隊合作的重要性。那麼，除了硬件和軟件，數據又將如何影響AI晶片市場的競爭？
