尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
不過，在得獎消息公布後，也有人在社交媒體上為落選的「遺珠」抱屈，他們認為還有這麼一批人，雖然名氣不大，對於 AI 研究的發展卻做出了不亞於三位巨頭的貢獻。
遞歸神經網路之父—— J ü rgen Schmidhuber
J ü rgen Schmidhuber 是瑞士人工智能實驗室（IDSIA）的研發主任，他所發明的 LSTM（長短期記憶網路），有效解決了人工智能系統的記憶問題。
昨日頒獎消息公布後，為他抱屈的聲音極多，部分人認為「深度學習」少了他終究不夠圓滿。
推一下眼鏡的表情富含深意……
一戰成名的 LSTM
要了解 LSTM，還得從循環神經網路（Recurrent Neural Network，RNN）開始說起。
RNN 是一種用於處理序列數據的神經網路，相比一般的神經網路，更擅於處理序列多變的數據（比如某個單詞的意思會因為上文提到的內容不同而有不同的含義）然而其技術缺陷也非常明顯，其中一項便是梯度消失：
RNN 模型在某些的取值上，梯度特別小（幾乎為 0）。這也意味著，如果在控制學習率不變的情況下，要麼參數不變（學不到東西），要麼就變化極大（學習成果推倒重來）。
因此 RNN 在參數學習上很難表現出彩。
而 LSTM 則可以理解為 RNN 的升級版，其結構天然可以解決梯度消失問題。其內部主要可以分為三個階段：
忘記階段
這個階段主要是對上一個節點傳進來的輸入進行選擇性忘記。簡單來說就是會「忘記不重要的，記住重要的」。
——由一個被稱為「遺忘門層」的 Sigmod 層組成的。它輸入 ht − 1 和 xt, 然後在 Ct − 1 的每個神經元狀態輸出 0~1 之間的數字。「1」表示「完全保留這個」，「0」表示「完全遺忘這個」。
選擇記憶階段
這個階段將這個階段的輸入有選擇性地進行「記憶」。哪些重要則著重記錄下來，哪些不重要，則少記一些。
——首先，一個被稱為「輸入門層」的 Sigmod 層決定我們要更新的數值。然後，一個 tanh 層生成一個新的候選數值，Ct ˜ , 它會被增加到神經元狀態中。
輸出階段
這個階段將決定哪些將會被當成當前狀態的輸出。
——首先，我們使用 Sigmod 層決定哪一部分的神經元狀態需要被輸出；然後我們讓神經元狀態經過 tanh（讓輸出值變為 -1~1 之間）層並且乘上 Sigmod 門限的輸出，我們只輸出我們想要輸出的。
J ü rgen Schmidhuber 把這種人工智能訓練比作人類大腦將大的時刻過濾成長期記憶，而讓更平常的記憶消失的方式。「LSTM 可以學會把重要的東西放在記憶里，忽略那些不重要的東西。在當今世界，LSTM 可以在許多非常重要的事情上表現出色，其中最著名的是語音識別和語言翻譯，還有圖像字幕，你可以在那里看到一個圖像，然後你就能寫出能解釋你所看到的東西的詞語。」他如此表示道。
而現實正如 J ü rgen Schmidhuber 所說的，LSTM 確實足夠出色，以致無論是蘋果、Google、微軟、Facebook 還是亞馬遜都在自家業務中採用了 LSTM —— Facebook 應用 LSTM 完成每天 45 億次的翻譯；Google 29% 的數據中心計算能力使用 LSTM（CNN 僅占 5%）；LSTM 不僅改善了近 10 億部 iPhone 手機中的 Siri 和 QuickType 功能，更為超過 20 億部 Android 手機語音識別提供支持；LSTM 還是亞馬遜 Alexa 和 Google 語音識別器的核心。
LSTM 的巨大成功，導致後來每當有人提到利用 RNN 取得卓越成果時，都會默認是 LSTM 的功勞。
通用人工智能夢
然而 J ü rgen Schmidhuber 並未滿足於 LSTM 的成功，他的終極歸宿是 AGI（通用人工智能）。
兩年前接受雷鋒網 AI 科技評論採訪時，J ü rgen Schmidhuber 明確表示自己有一項「商業上認知不是很廣，但是卻是非常重要的研究」——如何讓機器具備自我學習、更聰明的能力。在他一篇 1987 年的論文中，他詳細描述了元學習（Meta Learning，或者叫做 Learning to Learn）計劃的第一個具體研究，即不僅學習如何解決問題，而且學習提高自己的學習算法，通過遞歸自我學習最終成為超級人工智能。但這種設想受限當時的計算性能力無法進得到充分驗證。
堅信 AGI 一定能做到的背後，是他堅信「我們生活在一個矩陣式的計算機模擬中」的理念。「這就是我的想法，因為這是對一切事物最簡單的解釋。「他的理論認為，人類一開始就設定為要不斷追逐進步，並將繼續製造更強大的計算機，直到我們讓自己變得過時或者決定與智能機器合併為止。
為此，Schmidhuber 曾經預言：「要麼你變成了一個真正不同於人類的東西，要麼你出於懷舊的原因依然以人的身份存在。但你不會成為一個主要的決策者，你不會在塑造世界的過程中扮演任何角色。」
爭議
在查閱資料的過程中，你會發現 J ü rgen Schmidhuber 的「傲氣」無處不在。
年輕的時候，他是那個會在履歷學術經歷一欄寫上「拒絕加州理工學院的博士後錄取通知」的學術青年。2016 年的神經信息處理系統大會上，他當場質疑 Ian Goodfellow 的「生成對抗網路」是抄襲了他在 1992 年的一項研究。後來，他在《自然》雜誌的留言板上與所有人工智能大佬開懟，指責他們扭曲了人工智能的歷史，抹去了他和其他人最初的想法。
阿爾伯塔大學的研究人員 Kory Mathewson 說過，與 J ü rgen Schmidhuber 起衝突甚至成為某種「潛在的儀式」，有些年輕的 AI 研究人員甚至期待有朝一日能夠獲得這個「待遇」。但對於一些資深的研究人員來說，J ü rgen Schmidhuber 可能就是麻煩的存在，比如他經常被認為只會「抱怨」、「虛偽」、「自私」、「過分強調理論的價值」。
對此，他依然固守己見。「每當我看到有人做了重要的事情，而他沒有得到認可，但有人又說另一個人先做了那件事，那麼我是第一個把這個信息傳遞給《自然》雜誌、《科學》雜誌或其他期刊上的人。你可以通過時間脈絡來證明誰先做了什麼。說得好聽點，其他的一切都是再創造，說得難聽一點，這是剽竊。」
因此，不少人懷疑，這正是 J ü rgen Schmidhuber 無法在圖靈獎名單上出現的原因。
支持向量機（SVM）之父—— Vladimir Vapnik
另外一名呼聲極高的，是奠定了統計學習理論的 Vladimir Vapnik，他主要成就有二：
與另一名蘇聯數學家合寫了著名的統計學習理論 Vapnik – Chervonenkis theory（VC 維）
在上述理論基礎上發展出支持向量機 ( Support Vector Machine，簡稱 SVM ) 演算法
SVM 演算法
1971 年，Vladimir Vapnik 與 A. Chervonenkis 在論文《On the uniform convergence of relative frequencies of events to their probabilities》中提出了 Vapnik – Chervonenkis theory，它表明機器學習算法選擇的模型的錯誤率，是兩個因素的作用結果：
模型類越大，分類器錯誤率的聚集性 ( 收斂到泛化錯誤率的速度 ) 就越差。
模型類越大，擬合數據效果也越好。
總的來說，根據泛化錯誤率