尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️
Yann LeCun,紐約大學教授,同時也是 Facebook 的副總裁和首席 AI 科學家。ACM 表示 Yann LeCun 主要有三大重要貢獻:提出卷積神經網路,改進反向傳播算法,拓寬神經網路的視角。
Geoffrey Hinton,Google副總裁兼工程研究員,Vector Institute 的首席科學顧問,同時也是多倫多大學的名譽大學教授。Hinton 最重要的貢獻來自他 1986 年發明反向傳播的論文「Learning Internal Representations by Error Propagation」,1983 年發明的玻爾茲曼機(Boltzmann Machines),以及 2012 年對卷積神經網路的改進。
Yoshua Bengio,蒙特利爾大學教授,魁北克人工智能研究所 Mila 科學主管,Bengio 的主要貢獻是在 1990 年代發明的 Probabilistic models of sequences。自 2010 年以來,Bengio 非常關注生成式深度學習,特別是他與 Ian Goodfellow 等研究者提出的生成對抗網路(GAN),這項研究引起了計算機視覺和計算機圖形學的革命。
時至今日,幾乎我們能聽到的所有關於 AI 的重要進展,背後都離不開深度學習。深度神經網路促進了現代計算機科學的極大進步,顯著提升了計算機感知世界的能力,正是上述三位獲獎者為此奠定了重要基礎。
深度學習是否有盡頭?
但從去年開始,關於深度學習「寒冬論」、「天花板」的論調頻繁出現,不少人認為深度學習似乎遇到了瓶頸,需要特別大、特別深的網路以及大量數據訓練。
深度學習確有很多先天缺陷。比如低效率問題,我們都知道數據集的逐漸增大加上正確的訓練有助於性能的提高,而樣本量的缺少容易出現算法偏差。深度學習模型很淺。人工智能應用程序通過大量數據和深度學習算法的訓練可以很好地完成一件事,但卻不能應用在另一個方面,到目前為止,還沒有一個好的辦法可以將訓練從一種情況轉移到另一種情況。
另外,深度學習算法里還有一個特別棘手的問題,應用不穩定。讓這些算法在沒有明確編程的情況下接受數據訓練和學習,目前為止,深度學習是很難達到預期效果的。
另一個威脅是易受對抗攻擊。由於它們的創建方式,深度學習算法可以以意想不到的方式運行 – 或者至少以對我們人類來說似乎不合邏輯的方式運行。鑒於神經網路的不透明性,很難找到它們包含的所有邏輯錯誤。
但斷定深度學習「已死」的論調顯然是不合理的,即使可能在未來幾年內深度學習無法達到人類水平的認知,我們也會在許多其他領域看到深度學習有巨大的改進。以下是神經網路和深度學習的一些重要趨勢。
神經網路和深度學習的發展趨勢
膠囊網路
膠囊網路 (CapsNet)是Geoffrey Hinton提出的一種新型深層神經網路結構。它們以類似於人腦的方式處理信息。這實質上意味著膠囊網路可以維持層次關係。
這與卷積神經網路形成對比。卷積神經網路未能考慮簡單和複雜對象之間存在的關鍵空間層次結構。這導致錯誤分類和更高的錯誤率。膠囊網路彌補了不少缺陷,比如數據量、準確度、訓練數據多樣性等等,性能更好。
深層強化學習
深度強化學習是神經網路的一種形式,它通過觀察、行動和獎勵與環境交流來學習。深度強化學習(DRL)已經被成功地用於確定遊戲策略,比如Atari和Go。著名的AlphaGo項目被用來擊敗人類冠軍,而且也取得了成功。
深度學習有較強的感知能力,但是缺乏一定的決策能力。而深度強化學習還具有決策能力,不僅能利用現有數據,還可以通過對環境的探索獲得新數據,並利用新數據循環往復地更新迭代現有模型的機器學習算法,為複雜系統的感知決策問題提供了解決思路。
元學習
元學習可幫助模型在少量樣本下快速學習,從元學習的使用角度看,人們也稱之為少次學習。更具體地,如果訓練樣本數為 1,則稱為一次學習;訓練樣本數為 K,稱為 K 次學習;更極端地,訓練樣本數為 0,稱為零次學習。另外,多任務學習和遷移學習在理論層面上都能歸結到元學習的大家庭中。
元學習通過人工智能技術,把算法的設計自動化,降低了應用門檻,使得自動化的人工智能開發成為可能。
帶記憶模型的網路
區分人類和機器的一個重要方面是工作和思考的能力。毫無疑問,計算機可以預先編程,以極高的精度完成一項特定的任務。但是,當你需要它們在不同的環境中工作時,就會出現問題。
為了使機器能夠適應現實世界的環境,神經網路必須能夠在不遺忘的情況下學習順序任務。神經網路需要借助多種強大的體系結構來克服遺忘。這些可以包括:長期內存網路,可以處理和預測時間序列;彈性權重合併算法,可以根據先前完成的任務定義的優先級減慢學習速度;不受遺忘影響的漸進式神經網路,能夠從已經學過的網路中提取有用的特徵,以用於新的任務。
混合學習模式
不同類型的深度神經網路,例如生成對抗網路(Generative adversarial networks, GANs)或DRL,已經在性能和廣泛應用層面顯示出了巨大的前景。這可以幫助我們做到更好的模型性能和可解釋性的模型,從而可以鼓勵更廣泛的應用。通過概率編程語言的結合進行深度學習,以期看到更深層的學習方法獲得貝葉斯等價物。
深度學習不是終點,只是起步
深度學習在近年來能夠取得成功得益於兩個關鍵因素:一是計算機運算速度提高數倍;二是深度學習可順序計算的能力提高。目前深度學習依舊生命力旺盛,深度學習可用的工具和方法也成為了科學和商業中有價值應用的堅實基礎。
技術進步,眾多行業借助AI賦能產業結構,不斷升級換代與創新變革,走在技術前沿的公司也在不斷湧現。國內誕生了諸如曠視科技、商湯科技、極鏈科技Video++、依圖科技等優秀人工智能初創企業。人工智能技術迎來了發展的春天,我們期待即將到來的新的革命。