尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️
量子位 報導 | 公眾號 QbitAI
在過去十年中,機器學習在圖像識別、自動駕駛汽車和圍棋等領域取得了前所未有的進步。這些成功在很大程度上是靠監督學習和強化學習來做到的。
這兩種方法都要求由人設計訓練信號並傳遞給計算機。在監督學習的情況下,這些是「目標」(例如圖像的正確標籤); 在強化學習的情況下,它們是成功行為的「獎勵」(例如在Atari遊戲中獲得高分)。因此,機器學習的極限是由人類訓練師決定的。
但是學習知識還應該有其他的策略,就像讓幼兒學習,不僅有指導(監督學習)和鼓勵(強化學習),還應該有自由探索世界(無監督學習)。如果要讓AI脫離人類發展成出通用智能,必須要讓它掌握無監督學習的技能。
DeepMind今天在官方博客中對無監督學習的原理、近年來取得的成果、發展前景進行了綜述。
無監督學習關鍵的特點是,傳遞給算法的數據在內部結構中非常豐富,而用於訓練的目標和獎勵非常稀少。無監督學習算法學到的大部分內容必須包括理解數據本身,而不是將這種理解應用於特定任務。
解碼視覺元素
2012年是深度學習的里程碑,AlexNet席卷了ImageNet圖像分類競賽,但是更引人註目的是藏在AlexNet之下的事情。
研究人員在分析AlexNet時發現,它通過為輸入構建複雜的內部表示來解釋圖像,低層次的特徵,如紋理和邊緣在底層中表示,然後將它們組合在一起形成高級概念,例如更高層次中的輪子和狗。
這與我們的大腦中處理信息的方式非常相似,其中初級感官處理區域中的簡單邊緣和紋理,然後組裝成複雜對象。因此複雜場景的表示可以由「視覺基元」所構建,這種方式與單詞構成句子大致相同。
在沒有人類明確的指導的情況下,研究人員發現AlexNet的層可以通過基本的「視覺詞匯」來解決任務。
遷移學習
AlexNet還可以被遷移到訓練之外的視覺任務中,例如識別整個場景而不是單個圖像。
人類就非常擅長這種學習方法,我們能迅速調整自己的經驗,以適應新的技能和理解收集到的信息。例如,經過專業訓練的鋼琴家可以相對輕鬆地掌握彈奏爵士鋼琴的方法。
理論上,構成世界正確內部表征的智能體應該能夠做同樣的事情。
但是AlexNet等分類器所學到的表示仍具有局限性,特別是網路只用單一類別標記圖像訓練時,那些推斷標籤時用不上的信息 ,無論它在其他任務中用處多大,都可能被網路所忽略。如果標籤總是指向前景,則表示可能無法獲取圖像的背景。
一種可能的解決方案是提供更全面的訓練信號,比如描述圖像的詳細內容,不單單把圖像描述成「狗」,而是「柯基犬在陽光明媚的公園里叼飛盤」。
但是,這些信息很難大規模提供,而且這樣做仍然有可能不足以捕獲完成任務所需的全部信息。
無監督學習的基本前提是學習豐富、可廣泛轉移表示的最佳方式,這種方式可以學習關於數據的全部內容。
如果你覺得轉移的概念看起來過於抽象,那麼請想像一個學習簡筆畫的孩子。她發現了人體形態的特徵。通過增加具體細節,她可以為她的所有同學繪制肖像,加上眼鏡、紅色T恤的同桌等等。
她發展出這項技能不是為了完成一項特定任務或獲得獎勵,而是為了反映她描繪周圍世界的基本要求。
生成模型和GAN
無監督學習的最簡單目標是訓練算法生成自己的數據實例,但是模型不應該簡單地重現之前訓練的數據,否則就是簡單的記憶行為。
它必須是建立一個從數據中的基礎類模型。不是生成特定的馬或彩虹照片,而是生成馬和彩虹的圖片集;不是來自特定發言者的特定話語,而是說出話語的一般分布。
生成模型的指導原則是,能夠構建一個令人信服的數據示例是理解它的最有力證據。正如物理學家理查德·費曼所說:「我不能創造的東西,我就不能了解」(What I cannot create, I do not understand.)。
對於圖像來說,迄今為止最成功的生成模型是生成對抗網路(GAN)。它由兩個網路組成:一個生成器和一個鑒別器,分別負責偽造圖片和識別真假。
生成器產生圖像的目的是誘使鑒別者相信它們是真實的,同時,鑒別者會因為發現假圖片而獲得獎勵。
GAN開始生成的圖像是雜亂的和隨機的,在許多次迭代中被細化,形成更加逼真的圖像,甚至無法與真實照片區別開來。最近英偉達的GauGAN還能根據用戶草圖生成圖片。
通過預測創建內容
無監督學習中另一個值得注意的成員是自回歸模型,它把數據分成一系列小片段,每個片段依次被預測。這些模型可以通過連續猜測接下來會發生什麼來作為輸入,並能夠再次生成猜測數據。
在語言模型中,每個單詞都是從它之前的單詞預測出來的。它能夠支持在電子郵件和消息應用程序中彈出的文本預測內容。
最近OpenAI公布的GPT-2模型還能能夠生成以假亂真的文字段落。
通過控制用於調節輸出預測的輸入序列,自回歸模型也能用於將一個序列轉換為另一個序列。例如將文本轉換為逼真的手寫體、自然的語音,還能將一種語言翻譯成另一種語言。
自回歸模型以預測特定順序數據的方式來理解數據。通過預測任何其他數據的任何部分,可以構建更一般的無監督學習算法。
例如從句子中刪除一個單詞,並試圖從剩餘的內容中預測它。通過學習進行大量局部預測,系統被迫從整體上理解數據。
生成模型的出現讓人們產生了一種擔憂,就是它們可能被濫用。雖然通過照片、視頻和音頻編輯操縱證據歷史已久,但生成模型讓惡意編輯媒體內容變得更加容易。一個知名的「deepfakes」范例是歐巴馬演講視頻片段。
令人鼓舞的是,人們已經做出了面對這些挑戰的努力,包括利用統計技術幫助檢測偽造內容和驗證真實內容、提高公眾意識、以及圍繞限制生成模型使用範圍展開討論。
生成模型本身也能用在檢測偽造內容和異常數據。例如,檢測虛假語音或識別支付異常,保護客戶免受欺詐。研究人員需要研究生成模型,以便更好地理解它們並降低風險。
做到通用智能
生成模型本身很吸引人,DeepMind的主要興趣是用它作為通用智能的踏腳石。賦予智能體生成數據的能力是一種賦予其想像力的方式,從而能夠規劃和推理未來。
DeepMind的研究表明,即使沒有明確的生成數據,學習預測環境的不同方面可以豐富智能體的世界模型,從而提高其解決問題的能力。
— 完 —
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。
量子位 QbitAI · 頭條號簽約作者
վ’ᴗ’ ի 追蹤AI技術和產品新動態