網易有道吳迎暉：學習型智能硬件是一個門檻極高的市場

摘要：最近，我們剛剛發布了一款學習型智能硬件網易有道詞典筆二代，就是我們在AI技術實體化過程中的一次探索，希望用AI技術打磨一款查詞工具，這款產品能做到一掃即查，一秒鐘翻譯30個漢字，並且支持整句整段的中英文互譯。這款智能硬件產品是我們在技術實體化過程中的一次嘗試，得到業內和市場的認可讓我們更有信心去深入學習場景，圍繞用戶體驗，做出一些優質學習型智能硬件。

8月29日，網易有道副總裁吳迎暉在2019世界人工智能大會上分享了關於AI+教育的思考。伴隨著AI在教育場景中的逐步落地，吳迎暉認為，在教育場景中，學習型智能硬件是個未被觸及的領地，同時這是一個門檻極高的市場。因為任何學習型產品如果沒有在技術上取得實質突破，沒有在產品設計上完全以用戶體驗為核心，就難以觸及教育市場的皮毛，更無法做到用技術改進學習系統的目標。

以下是網易有道副總裁吳迎暉演講全文：

大家好，我是網易有道的吳迎暉，今天的演講題目是AI在教育場景中的落地。

從寫作業、記筆記，到數學計算、試卷批改，圍繞著孩子的學習過程，有非常多學習場景。在這些場景中，學習的方式千百年來都沒有出現過跨越式的變化，直到人工智能技術出現。

技術最初作為學習的內容出現，我們去學習各類技術的原理及應用，後來技術作為工具搭建起了一些傳播的平台，在縮小教育鴻溝方面發揮了巨大的作用。

現在，技術正在融入整個學習系統，推動學習方式的革新。這個階段我們思考的是，技術真正能做什麼？技術又該如何在教育中發揮作用？

我們認為，技術並不能改變教育，但技術能作為改進學習系統的重要解決方案。我們希望技術能夠輔助孩子們更快更好地學，而不是在題海中做無用功。

這幾年來，可以看到人工智能技術已經在教育領域逐步發揮作用，如今的技術已經能夠支持學力評估、智能推題等一系列定制化學習過程。

但是AI技術目前還停留在軟件層，實體化的案例並不多。而學習離不開線下場景，絕大部分學習過程都是在離線中進行的，這就意味著能夠更好適應具體場景的智能硬件還有極大的發揮空間去提升學習效率。

我們認為，在教育場景中，學習型智能硬件是個未被觸及的領地，同時這是一個門檻極高的市場。因為任何學習型產品如果沒有在技術上取得實質突破，沒有在產品設計上完全以用戶體驗為核心，就難以觸及教育市場的皮毛，更無法做到用技術改進學習系統的目標。

最近，我們剛剛發布了一款學習型智能硬件網易有道詞典筆二代，就是我們在AI技術實體化過程中的一次探索，希望用AI技術打磨一款查詞工具，這款產品能做到一掃即查，一秒鐘翻譯30個漢字，並且支持整句整段的中英文互譯。

別看是一支小小的筆，它的內核很強大，詞典筆二代使用了網易有道自主研發的AI技術與能力：包括端側的離線OCR、NMT、TTS以及在線的ASR和NLU。

我先簡單介紹下有道OCR技術。

有道OCR技術可以識別語種超過26種，目前國內覆蓋語種最多；此外，識別準確率最高達到99.6%，識別精準，屬於行業領先水平。

而且，有道的OCR針對教育場景做了著重優化，對於模糊的文字，比如這種我們都看不清楚的，有道OCR的識別準確率也能達到95%。還有拼音、公式、手寫、以及各種強干擾文字的識別，都能做到90%以上的準確率。很自豪地說，這是國內僅有的OCR教育場景能力，獨一無二。

詞典筆的輸入方式是「掃描」，這需要一個新的光學識別能力：「自適應的全景拼接」。

有道詞典筆二代的筆頭實際上是一個高速相機，在你滑動詞典筆的時候，其實它掃描的結果是一堆小碎圖。

這種碎圖，這支筆1秒鐘需要拍100多張！

如何將這100多張圖高質量拼接起來，提供給OCR識別，是自適應全景拼接的重點。那麼我們100張圖拼接得好的話，是這個效果：

如果拼接不好就會拼成這樣：

拼接也有很多其他的難點，比如：手抖、角度、密集行、滑動速度、左右反復滑動、左撇子等等，我們針對這些難點都做了優化。這密集、抖動場景的拼圖示例。優化前，優化後，我們加了文字監測跟蹤的算法，最後我們得到這樣一個矯正的結果。

這就是有道OCR賦予這支筆的核心能力。這背後用到的核心技術點包括：自適應全景拼接、流式識別計算。實際上並不是像剛才看到的那樣拼完圖再識別，如果這樣的話，速度就很慢。我們是在用戶拼的過程中，一邊拼接，一邊識別。這就是流式計算。

效果方面，通過有道OCR拼接，有道詞典筆二代達到了目前業內最快掃描速度：240mm/s。這約等於一張A4紙的長邊，相當於1秒可以識別40個漢字。

識別準確率方面，詞典筆二代的平均水平是95.5% ，遠遠領先行業水平。

基於有道OCR技術，這支筆還可以做到在特殊字體、特殊材質以及帶背景等不同的學習資料上掃描和識別，效果也很好。我們也做了一個和行業目前水平的對比。可以看到我們的效果優化了很多。那再看看具體的特殊字體、特殊材質和帶背景的我們和競品的對接，也可以看出識別效果有很大的差別。

再來看看我們做了十二年的另一個核心技術：有道NMT。能夠做到12種語言中文互譯，以及9種語言的英文互譯。

目前，翻譯質量用的評價指標是BLEU值，有道的翻譯引擎在中英上已經做到業內第一，在新聞領域測試上超出Google和微軟非常多。

這款產品在設計之初，考慮到K12階段的學生更需要在無網路的環境中使用，避免受到網路的打擾，所以我們在技術上做了很多優化，把原本只能在GPU服務器上跑的NMT引擎，搬到了詞典筆里面，讓所有的查詞與翻譯功能都在離線環境當中完成。

這是一件非常難的事情，為了考慮學生的使用體驗，我們的技術團隊從模型壓縮，到重寫整個神經網路的計算，攻克了重重難關，讓這只詞典筆不需要聯網，就可以做地道的離線翻譯。

此外，我們把TTS引擎也做進了詞典筆，可以整句流暢的發聲。最後我們集成進來有道自研的ASR和NLU技術，可以做語音識別和語義理解，做到了詞典筆語音助手的功能。

更重要的是，這款詞典筆本質上區別於此前大家知道的所有產品，關鍵在於，這樣的智能硬件，未來可以通過我們的OTA在線升級，搭載更多、更強大的AI技術和優質內容，我們可以賦予它更多的功能，而不僅僅是大家眼前看到的這些。

這款智能硬件產品是我們在技術實體化過程中的一次嘗試，得到業內和市場的認可讓我們更有信心去深入學習場景，圍繞用戶體驗，做出一些優質學習型智能硬件。

今年以來，網易有道加快了AI技術實體化的速度。我們現在已經有了八款學習型智能硬件，未來還會陸續推出更多，用AI技術的落地產品去改進學習的效率。

2018年，網易有道全面轉型在線教育，目前包括付費直播課程、學習APPs、學習型硬件幾大部分，是一家以產品技術驅動的教育科技公司。我們的願景就是用先進的技術手段讓語言、學習和工作變得更加輕鬆有效。謝謝大家！

>網易有道吳迎暉：學習型智能硬件是一個門檻極高的市場