揭秘三位圖靈獎得主Hinton、LeCun、Bengio的傳奇人生

這是圖靈獎自1966年設立以來，第三次將年度圖靈獎同時辦法給三位獲獎者。根據ACM官網信息，此次圖靈獎是為了表彰三位大師給人工智能帶來的重大突破，這些突破使深度神經網路成為計算的關鍵組成部分。

「Bengio、Hinton和楊LeCun三人既有各自獨立的研究，又有相互間的合作，他們為人工智能領域發展了概念基礎，通過實驗發現了許多驚人的成果，並為證明深度神經網路的實際優勢做出了貢獻。近年來，深度學習方法在計算機視覺、語音識別、自然語言處理和機器人等應用領域取得了驚人的突破。」

「雖然人工神經網路作為一種幫助計算機識別模式和模擬人類智能的工具在20世紀80年代被引入，但直到21世紀初，只有楊LeCun、Hinton和Bengio等一小群人仍然堅持使用這種方法。盡管他們的努力也曾遭到懷疑，但他們的想法最終點燃了人工智能社區對神經網路的興趣，帶來了一些最新的重大技術進步。他們的方法現在是該領域的主導范式。」

這是ACM授予他們圖靈獎的重要原因。

ACM同時宣布，將於2019年6月15日在舊金山舉行年度頒獎晚宴，屆時正式給獲獎者頒獎，獎金100萬美元嗎，目前由Google提供財政支持。

由於圖靈獎對獲獎條件要求極高，評獎程序又是極嚴，一般每年只獎勵一名計算機科學家，只有極少數年度有兩名合作者或在同一方向作出貢獻的科學家共享此獎。因此它是計算機界最負盛名、最崇高的一個獎項，有「計算機界的諾貝爾獎」之稱 。

Hinton是Google副總裁兼工程研究員、Vector研究所首席科學顧問、多倫多大學名譽教授。LeCun是紐約大學教授、Facebook副總裁兼人工智能首席科學家。Bengio是蒙特利爾大學教授，也是魁北克人工智能研究所Mila的科學主任。下面，就跟隨智能菌，一起來看看「深度學習三巨頭」的傳奇人生。

01

Hinton：從”棄兒”到大神

Hinton於1947年出生在英國溫布爾頓，他的父親Howard Hinton是一名昆蟲學家，母親Margaret Clark是一名教師。Hinton所描述的自己的童年時期，就好像拿著顯微鏡的丹尼爾·韓德勒（Lemony Snicket，美國作家及編劇）、哈克貝利·費恩和美國喜劇電影《天才一族》（The Royal Tenenbaums）的綜合體。

Hinton出生於科學家世家，在Hinton成長的過程中，他的母親給了他兩種選擇：「要麼成為一名學者，要麼就做個失敗者。」Hinton家族的家譜上，科學家占了很大的比例。他的高祖父是布爾邏輯創始人喬治·布爾（George Boole），任何用過「布爾檢索」的人都很熟悉他。喬治布爾的女婿之一Charles Howard Hinton是Hinton的曾祖父，是一位數學家和科幻作家，他創造了「超立方體（tesseract）」的概念。Hinton的中間名是Everest，這個名字來源於他高祖母的叔叔、地理學家Everest，珠穆朗瑪峰就是以他的名字命名的。

Hinton的母親非常和藹，但他的父親卻有些令人生畏，不僅表現在身體上（他可以單手做引體向上），還是在智力上。「他喜歡那些思路清晰的人，如果你說了一些廢話，他就會稱其為垃圾。他不是那種很多愁善感的人。我不是說他會虐待人，但他的脾氣非常強硬。」Hinton中學就讀於一所名為克利夫頓學院的私立學校，「並不是什麼頂尖學校，」他說，他和他的朋友Inman Harvey曾經在周圍的村子搭車四處玩耍，Inman Harvey現在是計算機科學家、蘇塞克斯大學的人工智能訪問研究員。

1972年，Hinton開始在愛丁堡大學攻讀博士學位，研究方向是神經網路。每周，他的導師都會對他說，你是在浪費時間，但Hinton還是堅持繼續研究。

圖：31歲的Hinton在加利福尼亞州拉霍亞市，旁邊是加州大學聖地亞哥分校認知科學的博士後研究員Chris Riesbeck。

博士畢業後，Hinton在匹茲堡的卡耐基梅隆大學找到一份工作。但是，Hinton是一個社會主義者，當時被里根政府的外交政策深深困擾。他的妻子Ros是一名分子生物學家，也是倫敦大學學院的前教授。他們計劃收養來自南美洲的一個男孩和一個女孩，但不想讓孩子在卷入血腥的拉美衝突的國家里長大。另外，美國的大部分人工智能研究都是由美國國防部資助的，Hinton對此也不滿意。

1987年，Hinton接受了加拿大高級研究所（CIFAR）的邀請，他和妻子Ros搬到多倫多的Annex。盡管從未學過計算機課程，但Hinton還是在多倫多大學計算機科學學院接受了一個職位，並在CIFAR展開了機器和大腦學習項目的研究。他在多倫多大學聖喬治校區的桑福德·弗萊明大樓里有了一間小辦公室，開始安靜地工作。

漸漸地，一些相信深度學習的人都加入了他的團隊。其中就包括Ilya Sutskever，他現在是OpenAI的聯合創始人兼董事。Sutskever還記得2000年前後在Hinton的實驗室工作的時光。他說，當時還是「人工智能冬季」，有10個左右的學生在Hinton的實驗室做研究，那時人工智能研究領域的工作和資金都很匱乏，而且來自行業的資助也越來越少。「我們是局外人，但我們覺得我們有一種罕見的洞察力，覺得我們與眾不同。」Sutskever說。

當他面對學術上的冷漠而埋頭苦幹時，Hinton在90年代遭遇了另一個打擊——他成為了一個單身父親。在他和他的第一任妻子Ros收養了他們的孩子後不久，Ros就患卵巢癌去世了。Hinton曾經習慣於沉浸在自己的思想中和實驗室里，但他一下又回到了要撫養兩個孩子的現實世界。他的兒子患有注意力缺陷多動症（ADHD）和其他學習障礙，即使有保姆，Hinton也必須在下午6點回到家，陪伴自己的兒子，然後沖到Gap買促銷的襪子。

「我無法想像一個有孩子的女人如何能有一個學術生涯。我已經習慣了把時間花在思考上。」

「教育很有趣，但也有一點分心，而餘下的生活——我沒有時間去過，」Hinton說。「但有了小孩子之後，這根本就不行。」盡管如此，工作還是為他提供了一個避風港。Hinton說：「我有時會覺得，我在用數字和數學來作為我的情感上的防禦。」養育子女使他的想法發生了改變。「以前我去超市的時候，收銀員連兩個數字的加法都不活做，我想：「看在上帝的份上，為什麼他們不能雇一個能做算術的收銀員呢？」」現在我會想：「超市能雇傭這個人，真是太好心了。」他補充道：「我沒有想成為一個更好的人，這只是碰巧發生了。這其實並不是我的目標。」

1997年，Hinton再婚，妻子是英國藝術史學家Jackie。幾年前，她被診斷出患有胰腺癌。Hinton在醫院里度過了許多時光。他提出的問題經常惹惱醫院的工作人員。他知道病人在等待結果時收到模糊信息的挫敗感。但與大多數人不同的是，他知道，很快就會有一種技術，可以在把需要等待一周的測試結果縮短到一天。

醫務人員曾三次根據CT掃描結果告訴他的妻子，她有繼發性腫瘤，但每次都是誤診。Hinton相信人工智能最終會讓放射科醫師失業——或者至少取代閱讀圖像的工作。識別是人工智能的核心，也是成功診斷和治療的核心。「最終，人工智能工程師將會知道如何訓練你的免疫系統來攻擊癌細胞。」Hinton說。

2009年左右，當計算機終於有能力挖掘海量數據時，超級神經網路開始在語音和圖像識別方面超越基於邏輯的人工智能。業界很快注意到了正在發生的變化，大型科技公司包括微軟、Facebook、Google等都開始在這一領域投資。2012年，Google公司的絕密實驗室Google X（現在名為X），宣布建立一個由16000個電腦處理器組成的神經網路，並將其用在YouTube上。該公司的深度學習人工智能部門Google Brain的工程師們，由該部門的高級研究員Jeff Dean主管，從YouTube上提取了數百萬個隨機的、沒有標籤的視頻，輸入到這台新的超級計算機中，並通過編程使其能夠理解所看到的內容。YouTube上有很多關於貓的視頻，神經網路成功地從其他各種東西中認出了貓。這是人工智能領域一個激動人心的時刻。「我們在訓練中從來沒有說過，‘這是一只貓’，」Jeff Dean當時說，「它基本上是自己發明了貓的概念。」

這一突破性的進展使得Hinton和他的助手們成為了人工智能浪潮中的主管者。2013年，Jeff Dean把Hinton招進了Google。Sutskever說：「我們本來就不在體制內，努力證明傳統觀點是錯誤的。有趣的是，現在我們已經成為了體制的建立者。」

Hinton的觀點曾被業界拋棄，而突然間他卻成了行業里最重要的人物，從棄兒變成了明星。

Hinton在多倫多大學的辦公室能俯瞰到學校中心的幹道。他一邊走動，一邊吃著三明治，一邊在白板上畫畫，講述神經網路的巨大知識。他說，如果必須把狗和貓定義成兩個不同的性別，他停下來畫了一只貓（形狀像雪人，有兩個小耳朵），從我們的文化來看，可能會把狗看成是雄性的，而貓是雌性的。在這個定義中沒有邏輯可言（還很性別歧視），但是，Hinton說，我們的聯想和類比告訴我們，狗是好鬥的、毛茸茸的、粗笨的；貓是狡猾的、聰明的、溫順的。前者有雄性的特徵，後者有雌性的特徵。這背後的原因不能用邏輯來證明，但它確實存在於我們的大腦中。

關於機器可以憑直覺感知這些相同表象的想法有一種詩歌般的吸引力：知識來源於生活中積累的意義和經驗，是一種存在的神秘物質。這就是神經網路的美妙之處。「這更接近於弗洛伊德的理論，意識的薄層、謹慎的推理以及其下所有沸騰的東西。下面這些沸騰的東西並不是有意識的推理，而是別的東西，起類比作用的東西。」Hinton說。

他不斷地重申著這一基本理念。去年秋天的Google Go North大會上，加拿大總理賈斯汀·特魯多（Justin Trudeau），創新部長Navdeep Bains，以及Google母公司Alphabet的執行董事長埃里克·施密特（Eric Schmidt）等人像熱切的學生一樣坐在桌前，而Hinton一直站著，俯瞰著這些知名人士。

Hinton從來不坐著，因為他的脊椎上有一個突出物。第一次出現問題是他在19歲時幫母親搬一個很重的加熱器的時候，並且他在代謝預防骨質疏松症的鈣方面也有遺傳缺陷。隨著時間的推移，問題變得越來越嚴重。最終，坐著變成了一件很痛苦的事情，所以，他從2005年開始就不再坐著了。當然，這並不是一個理想的解決方案。尤其是Hinton每年需要在全球無數次會議上出席或發言。不過，Hinton有辦法從多倫多到赫爾辛基，而一直不坐下，而這一共需要11天。

圖：Hinton在2017年舉行的Go North科技會議上，與特魯多總理等人討論機器學習的問題。

「先躺在一輛公車的後座上到布法羅。然後在法布羅換乘一輛芝加哥到紐約的臥鋪車，接著搭乘瑪麗女王號郵輪到南安普敦。然後站到倫敦，再乘歐洲之星站著到巴黎。在巴黎坐臥鋪到柏林。然後搭乘一輛舊的火車到羅斯托克，它坐落於海岸線上，以前屬於東德。然後你就可以乘渡船到達赫爾辛基。」這就是Hinton平常的說話方式：把數據切分成易於理解的一個個部分，他的目光聚焦在遠處，嘴角掛著微笑。

在Go North會議上，Hinton對他和兩名Google工程師的最新突破「膠囊神經網路（capsule networks）」做出了簡潔而清晰的解釋。神經網路依賴於海量的數據來學習，需要很長時間才認識到從不同角度觀察的對象是同一個物體。膠囊是一種人造神經元組成的層，能夠跟蹤物體的各個部分之間的關係，使識別更快更準確。比如說，從一個人的鼻子到嘴巴之間的小空間。在科技界，膠囊網路受到了人們的熱烈歡迎。紐約大學一位從事圖像識別工作的教授對連線雜誌說：「每個人都在等待著它，並期待著Hinton的下一個大的飛躍。」

在Hinton的努力下，每一家大型科技公司的人工智能專家都在爭先恐後地在深度學習中做出下一個變革性發現。數十名Hinton過去的學生在Facebook、Google、蘋果和優步以及學術界都聲名鵲起，他們在學術界傳播了神經網路的知識，形成了他們自己的生活方式。

作為另一位圖靈獎獲得者，Bengio與Hinton有著良好的關係。幾十年來，當Bengio在多倫多有工作要做的時候，他就住在Hinton在Annex的房子里，和他一起散步。他看著Hinton一路達到今天的科技名人地位，但同時也有些擔心。「他不是上帝，他也是會犯錯的。他只是一個普通人，做著普通人會做的事情。」Hinton說，「有時他可以透過黑暗看清事物，但他的個人生活對他來說並不容易，他也有他的黑暗時代。」

矢量研究所是多倫多大學解決人工智能人才流失的方案，矢量研究所擁有超過1億美元的地方和中央資金支持，還有來自30多個私人合作夥伴的8000萬美元，Hinton帶領著這個研究所正在為解決世界上一些重大的問題尋求技術答案。

02

LeCun：高舉著火炬，沖過了最黑暗的時代

LeCun出生在法國人，從很小的時候他就相信能讓電腦擁有視覺。臉部識別和圖像檢測如今已經很常見，但是當LeCun 20世紀80年代早期在巴黎上大學時，計算機實際上是個「盲人」，它們無法理解圖像中的任何東西，也無法弄清楚相機鏡頭里出現了什麼。

從上世紀60年代起，LeCun就在大學里尋找一種方法，這種方法在很大程度上還未被探索過，但他認為這種方法有可能「讓機器學習許多任務，包括感知。」這種方法被稱為人工神經網路，它是由相互連接的小型傳感器組成的系統，並可以將內容分解成微小的部分，然後進入識別模式，並根據它們的共同輸入來決定它們所看到的內容。

在閱讀了反對神經網路的論點，也就是它們很難訓練，而且不是特別強大後，勒恩決定不管怎樣都要繼續前進。他在攻讀博士學位的時候，盡管存在疑慮，但依然軍心專注於此。對於當時受到的批評，LeCun說：「我就是不相信它們。」

人工智能領域的艱難時期有自己特殊的名字：人工智能寒冬。這些時期主要是因為研究人員的研究成果不符合他們的預期，使得研究成果似乎顯得不夠科學，導致資金和興趣枯竭，阻礙技術持續進步。

20世紀80年代在Hinton實驗室工作，他曾提出「人工神經網路」，但後來該理論一度被認為過時，他本人甚至被拒絕參加學術會議。但LeCun一直堅持，他的導師Hinton曾評價說：「LeCun高舉著火炬，沖過了最黑暗的時代。」

上世紀90年代中期，在貝爾實驗室的一項人工智能研究工作結束後，AT&T的內部紛爭讓他的團隊分崩離析，當時他們正在推出自動讀取ATM機，即如今仍在使用的神經網路技術，就像LeCun認為它正在取得明顯進展一樣。LeCun說：「整個項目在取得真正成功的那天就被解散了，這真的很令人沮喪。」

與此同時，其他方法獲得主流研究人員的青睞。這些方法後來不再受歡迎，但它們的崛起足以讓神經網路以及其長期以來的支持者LeCun被擠入邊緣。21世紀初，其他學者甚至不允許LeCun在他們的會議上發表論文。

2003年，LeCun為自己獲得救贖奠定了基礎。那一年，他加入了紐約大學的教師隊伍，並與Hinton和Bengio一起，以非正式聯盟的形式重新恢復了神經網路。LeCun微笑著說：「我們開始了我所謂的深度學習陰謀。」

最終，這個結果成為了一種敏捷、快速、準確的方法，為該領域開辟了新的可能性。在LeCun和同行們建立的基礎之上，計算機視覺在21世紀初出現了爆炸式增長。計算機開始能夠識別圖像中的物體，然後識別視頻中的物體，最後甚至可以識別錄影頭中的目標。

LeCun很快從「場外人」成為這個領域的領袖。他說：「在1年時間內，它從無人問津變成人人都在研究的東西，「這簡直太瘋狂了！」

LeCun在2013年加盟Facebook並組建FAIR，從此以後，深度學習才慢慢熱起來。但是，LeCun仍像研究員一樣工作，他不僅保留了紐約大學的教職，而且FAIR的整體研究也更偏學術化。

LeCun在業界以直言不諱聞名，經常批評那些認為「AI技術令人恐懼」的不合理聲音。有一次，LeCun在採訪中嚴肅說到，過去在媒體上看到的關於人工智能的文章，其中的配圖很多都是關於《終結者》的。LeCun認為這些報導很荒謬，最後不得不以嚴肅的態度回應。LeCun表示，人工智能還有很長很長的路要走，才能接近嬰兒的智力，甚至是動物的智力。

03

Bengio：追求AI的 新髮現

Yoshua Bengio出生在巴黎，在蒙特利爾長大。1991年，Bengio獲得了加拿大麥吉爾大學計算機科學博士學位。他很喜歡科幻小說，如Philip K. Dick的《Do Androids Dream of Electric Sheep》中，由一家大型企業創造的有感知力的機器人最終變成了惡棍。

大學期間，Bengio主修計算機工程，他在麥吉爾大學讀研究生時讀到了Hinton的一篇論文，如被電擊，因為他找到了兒時非常喜歡的科幻故事的感覺。「天吶！這是我想做的事！」他回憶道。

「多年來，在機器學習會議上，神經網路都不受歡迎，而Bengio堅持與他的神經網路為伍，」科羅拉多大學教授Mozer回憶說，「我當時覺得，可憐的Bengio，他太落伍了。 」

他在麻省理工學院計算機科學與運籌學部擔任教授兩年之後，在麻省理工學院貝爾實驗室擔任麻省理工學院計算機科學系的教授。他著有兩本書和200多本出版物，被引用最多的是深度學習、周期性神經網路、概率學習算法、自然語言處理和多種學習。

雖然Hinton和LeCun分別加入了Google和Facebook，但Bengio仍然是蒙特利爾大學的全職教授。他在2016年成立了Element AI，並創立了一個非常成功的項目，幫助大公司探索人工智能研究的商業應用。

在20世紀後期，研究人員開始明白為什麼深度學習效果不佳。訓練高水平的神經網路需要更強的計算能力。此外，神經網路需要良好的數據，在消費互聯網崛起之前，還沒有足夠的數據能用來學習。到了本世紀初，這些變了，大型科技公司開始應用Bengio和他同事們的技術來做到商業里程碑：語言翻譯、語音識別、臉部識別。

當時，Bengio的哥哥Samy也是AI研究員，他在Google工作。Bengio很想跟隨他的兄弟和同事前往矽谷，但在2016年10月，他、Gagné、Chapados和Real Ventures推出了自己的創業公司Element AI。

Bengio認為，科學家的工作是繼續追求AI的 新髮現。他說，政府應該更積極地監管規範這一領域，同時更公平地分配財富，投資於教育和社會安全網路，以減輕人工智能不可避免的負面影響。

04

三位深度學習之父功績

Hinton——

反向傳播算法： 在1986年的一篇論文「Learning Internal Representations by Error Propagation」中，Hinton與David Rumelhart和Ronald Williams證明了反向傳播算法可以幫助神經網路發現數據的內部表示，使得神經網路可以用來解決從前無法解決的問題，反向傳播算法是目前大多數神經網路的標準算法。

玻爾茲曼機（Boltzmann Machines） :1983年，Hinton與泰倫斯·謝諾沃斯基(Terrence Sejnowski)一起發明了玻爾茲曼機，這是第一個能夠學習不屬於輸入或輸出的神經元內部表征的神經網路。

卷積神經網路的改進: 2012年，Hinton和他的學生Alex Krizhevsky、Ilya Sutskever一起，利用分段線性神經元（rectified linear neurons）和dropout正則化改進了卷積神經網路。在著名的ImageNet比賽中，Hinton和他的學生們使物體識別的錯誤率幾乎減半，從而重塑了計算機視覺領域。

LeCun——

卷積神經網路: 在20世紀80年代，LeCun開發了卷積神經網路，這是該領域的一個基本原理。能夠提高深度學習的效率是它的眾多優勢之一。上世紀80年代末，LeCun還在多倫多大學和貝爾實驗室工作時，他是第一個訓練卷積神經網路系統處理手寫數字圖像的人。

如今，卷積神經網路已經成為計算機視覺、語音識別、語音合成、圖像合成和自然語言處理領域的行業標準。它被廣泛應用於各種應用中，包括自動駕駛、醫學圖像分析、聲控助手和信息過濾。

改進反向傳播算法： LeCun提出了早期版本的反向傳播算法(backprop)，並基於變分原理對其進行了清晰的推導，他的工作加速了反向傳播算法，包括兩種加速學習時間的簡單方法。

拓寬神經網路: LeCun還為神經網路開拓了廣闊的空間，將其作為處理廣泛任務的一種計算模型，並在早期的工作中引入了一些現在廣為人知的基本概念。例如，在識別圖像領域，他研究了如何在神經網路中學習分層特徵表示。如今，這一概念經常被用於許多識別任務。

他和Léon Bottou一起提出了一個被應用於每一個現代深度學習軟件中的理念，即學習系統可以被構建為複雜的模塊網路，在這個網路中，反向傳播通過自動分化來執行。他們還提出了能夠控制結構化數據的深度學習體系結構。

Bengio——

序列概率模型 （Probabilistic models of sequences）:20世紀90年代，Bengio將神經網路與概率模型（如隱馬爾可夫模型）相結合。它被用在AT&T/NCR閱讀手寫支票的系統里，這被認為是20世紀90年代神經網路研究的巔峰，現代深度學習語音識別系統正在擴展這些概念。

高維詞嵌入和注意力模型: 2000年，Bengio發表了具有里程碑意義的論文《神經概率語言模型（A Neural Probabilistic Language Model）》，引入高維詞嵌入作為詞的意義表示，Bengio的研究對自然語言處理任務產生了巨大而持久的影響，其中包括語言翻譯、問和視覺回答。他的團隊還引入了一種注意力機制，這種注意力機制在機器翻譯方向取得了突破，成為深度學習中順序處理的關鍵組成部分。

生成對抗網路: 自2010年以來，Bengio關於生成深度學習的論文，特別是與Ian Goodfellow共同開發的生成對抗網路(GANs)，在計算機視覺和計算機圖形學領域引發了一場革命。一個的由此引發的驚人應用中，電腦可以自動生成原創圖像，而這種能力被認為與人類智能類似。

05

一些評語

「人工智能現在是所有科學領域中增長最快的領域之一，也是社會上談論最多的話題之一，」ACM主席Cherri M.Pancake說，「人工智能的發展和人們對它的興趣，在很大程度上要歸功於Bengio、Hinton和LeCun獲得的深度學習最新進展。這些技術正被數十億人使用。任何口袋里有智慧型手機的人都能實實在在體驗到自然語言處理和計算機視覺方面的進步，而這在10年前是不可能的。除了我們每天使用的產品，深度學習的新進展也為科學家們提供了研究醫學、天文學、材料科學的強大新工具。」

Google高級研究員、Google人工智能高級副總裁傑夫·迪恩（Jeff Dean）表示:「深度神經網路對現代計算機科學的一些重大進步做出了巨大貢獻，幫助科學家在計算機視覺、語音識別和自然語言理解等領域長期存在的問題上取得了實質性進展。」這一進步的核心是30多年前由以上三位深度學習大師開發的基礎技術。通過大幅提高計算機感知世界的能力，深度神經網路不僅改變了計算領域，而且正在改變科學和人類努力的每一個領域。」