安兔兔AI測試成績不公平?跑分背後是兩大人工智能方案角逐未來

尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️

加入LINE好友

剛跨過安兔兔跑分的坎,又跌入安兔兔AI評測的坑。評價君這麼形容麒麟980其實並沒有什麼不恰當的地方。不久前安兔兔官方發布了一款AI測試工具,然而跑分之後有些小夥伴不淡定了,這分數究竟是咋跑出來的?不怪各位有這樣的疑惑,今天評價君就稍微解讀一下AI測試背後的一些東西,看完也許就知道該如何理解跑分。

安兔兔AI測試成績不公平?跑分背後是兩大人工智能方案角逐未來

廢話不說,先來看看被質疑的成績是怎麼回事。從評價君截取的三張圖可以看到,小米Note3、紅米Note7兩款手機獲得了超過72000分的成績,而榮耀Magic2的成績是62964分。前面兩款使用的是驍龍660晶片,因此從這三張圖能輕易得出他們勝過麒麟980的結論,焦點自然也就在這了。

評價君順便挖個坑:各位說驍龍660和驍龍660 AIE是同一款晶片麼?這個問題在本文中不討論。

安兔兔AI測試成績不公平?跑分背後是兩大人工智能方案角逐未來

對於這種現象,安兔兔官方的人自然也是強勢回擊。大概總結起來就是三點。第一這個成績和測試標準被海思認可。第二,AI不代表整體性能。第三,NPU沒底層支持所以成績差。評價君對這個回應不發表評論,只順勢說一下不怎麼清淨甚至暗流湧動的AI競爭。

安兔兔AI測試成績不公平?跑分背後是兩大人工智能方案角逐未來

在很早之前,評價君就多次在介紹AI的文章中引用了另一款軟件AI Benchmark的榜單。這是一個相對權威的榜單,測試成績也都是公開的,各位可以到網上查詢。看成績之餘,不知道有沒有人注意到很多成績的右上角都有備註信息?這個備註往往被忽略,但其實相當關鍵。

安兔兔AI測試成績不公平?跑分背後是兩大人工智能方案角逐未來

評價君隨便解釋幾個對本文可能有用的吧:

1——代表支持浮點AI模型,也就是依賴FP16運算能力,典型的就是華為晶片內置的NPU。

2——代表支持量化AI模型,依賴的是INT8運算能力,典型代表就是高通的Hexagon DSP。

3——代表對前面兩者通吃。多說一句,即便通吃,實際使用中也只能二選一。

6——代表使用了Android的NNAPI驅動,AI性能會有30%到50%提升,但系統最低要求是Android 8.1。還敢說升級系統沒用?

7——代表使用華為EMUI8.1系統,該系統的BUG會導致長時間待機之後AI性能下降30%,重啟之後恢復。(╯‵□′)╯︵┴─┴

所以先解釋了三星晶片為什麼得分低:Exynos 9810不支持任何AI運算模型,全靠CPU運算,這一點AI Benchmark和安兔兔結論一致。那麼接下來問題來了,從上面可以知道AI運算模型有INT8和FP16兩種,在方案上就是高通DSP和華為NPU競爭。安兔兔員工說NPU無法被調用所以測不出成績,AI也無法發揮作用。那真就不能讓兩大方案一比高低了嗎?

安兔兔AI測試成績不公平?跑分背後是兩大人工智能方案角逐未來

答案當然不是。同樣作為測試軟件的AI Benchmark非常清楚的給出了麒麟980基於FP16模型的AI成績,並不存在無法調用NPU的問題。同時也能看到,支持NPU和不支持NPU成績差距相當明顯,測試中運算速度會被加快3倍左右。所以同樣測試AI性能,安兔兔做不到的項目,AI Benchmark做到了,不愧是愛因斯坦母校的作品。

其實從網友分享的成績來看,安兔兔對INT8評分的測試還是相當精準的,測試做的相當有技術水平。比如下圖中的vivo X23完全可以把前面的驍龍660手機摁在地上摩擦,實際上它可能只是一個驍龍670晶片的機型。

安兔兔AI測試成績不公平?跑分背後是兩大人工智能方案角逐未來

安兔兔AI測試這成績很好的解釋了兩者的硬件差異——雖然其他方面比較相近,驍龍670使用了驍龍845同款的Hexagon 685,AI性能向旗艦看齊。同理,也可以看到小米6的AI成績遠不如小米8,也反映了小米6和小米8使用不同DSP產生的性能差距。所以至少在高通系晶片上,安兔兔AI測試相當有參考價值。

安兔兔AI測試成績不公平?跑分背後是兩大人工智能方案角逐未來

AI運算到底是基於INT8還是基於FP16,不光是高通和華為之間的矛盾,也是人工智能模型繼續向前推進和發展必須面對的問題,兩種方案都有各自的支持者投入大量研發力量促進其進化,以確保獲得競爭中的優勢。以目前情況看,直接競爭也就不可避免了,測試軟件則在其中起到了導向作用。

所以不客氣的說,任何評測軟件都會有自己對發展趨勢的理解和預判。盡管可能讓用戶覺得軟件有傾向性,但只有這樣才能發揮出自己最大的價值,這一點放之四海皆準。對於用戶來說,也就意味著不能只看一個測試軟件的結果,要綜合評估。其實跑分除了驗證某些猜想之外,跑分對於絕大多數用戶而言意義也並不大,看看就好,不要太認真。

About 尋夢園
尋夢園是台灣最大的聊天室及交友社群網站。 致力於發展能夠讓會員們彼此互動、盡情分享自我的平台。 擁有數百間不同的聊天室 ,讓您隨時隨地都能找到志同道合的好友!