尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
你在鍵盤上輸入開頭：「這是一個關於小狗 Boo 的故事。」
片刻之後，AI 為你返回一個完整的敘事：「這是一個關於小狗 Boo 的故事。Boo 是一只拉布拉多犬，它愛人類勝過一切。一年多前，弗吉尼亞州阿靈頓市的狗狗救援行動救助了 Boo，它是一只被遺棄的小狗 ( 現在 2 歲 )。Boo 的故事令人動容。」
這不是假新聞，而是 OpenAI 開發出來的最新語言模型所能做到的效果。
在此前的 DOTA 2 AI 慘敗後，這家馬斯克倡導成立（現已退出董事會）的 AI 機構在今天發布了其自然語言處理（NLP）模型——GPT-2。GPT-2 最大的亮點是可以生成給定單詞或句子的連貫文本，而且在一系列 NLP 測試中做到最佳 (或接近最佳) 性能。我們可以簡單地將其理解為一款「洋蔥新聞 AI」，但它的價值遠不止於此。
自然語言處理專家、Salesforce 首席科學家 Richard Socher 對《麻省理工科技評論》表示，OpenAI 這次的工作展示了一個更通用的語言學習系統，這些通用學習系統代表著未來。
圖丨GPT-2 根據輸入「Bob最近怎樣」輸出了一個完整的短故事，目前測試只面向研究人員開放（來源：OpenAI）
人類語言的力量已經不必多說，但也正是因為其強大，構建真正理解人類語言的 AI 的過程也異常艱辛。
目前，我們已經迎來幾項標誌性成果，例如Google的 BERT，它利用預訓練好的模型，可以在幾個小時內在單個顯卡上訓練最先進 NLP 模型，而 Facebook 的 PyText，則可以每天為社交網路的應用程序和服務生成超過 10 億個預測。這些成果已經推動了 NLP 相關的研究。但是，在沒有人工製作的語法規則和精心標記的數據集輔助的情況下，AI 目前還難以做到自然「說話」。
這也是為什麼 OpenAI 這次的研究非常值得關注的原因。
圖丨 GPT-2 的表現（來源：OpenAI）
先前的研究表明，無監督學習從非分類、無註釋的數據中學習可以用於從通用模型到特定的語言任務。OpenAI 認為，GPT-2 的誕生表明，足夠大的語言模型可以在不需要特定領域數據集或修改的情況下學習 NLP 任務。
這些模型核心的神經網路由神經元組成，這些神經元仿照生物神經元松散建模做到數學功能。這些神經元與層層排列的能傳遞信號給其他神經元的「突觸」相連。數據信號從一層傳遞到另一層，然後通過調整每個連接的突觸強度 (權重) 來緩慢地「調整」神經網路。隨著時間的推移，神經網路就能從數據集中提取特徵並識別樣本之間的趨勢，最終學會做出預測。
GPT-2 基於 OpenAI 先前的研究成果 GPT。有意思的是，2018 年轟動 NLP 領域的Google BERT 模型，其很多思想也與 GPT 這個「前輩」有關係。GPT-2 繼承了 GPT 的一些特性，在一定程度上同樣依賴 Transformers 做到其效果。Transformers 是一種相對新穎的神經結構，於 2017 年由 Google Brain 團隊在論文《Attention Is All You Need》中引入。
Transformers 為這一複雜過程增添了「自注意力機制」（self-attention）。神經元群以不同的速率傳遞信號，並將信號以某種智能的方式傳送到下一層。這種結合 40GB、800 萬條網路評論、帖子和文章相當於 100 億個單詞的架構調整，可以讓 OpenAI 模型查詢之前經驗的相關信息, 而且十分簡單快速。
OpenAI 數據解決方案和語言研究主管 Alec Radford 在一次電話簡報中告訴表示:「一些人工智能模型強行將上下文的所有信息匯總或壓縮成一個固定長度，這是一項非常困難的任務。這與以自我關注為基礎的模型截然相反，自我關注模型將所有不同的單詞放在上下文中，並學習如何查詢之前信息的功能。如果模型看到像‘先生’或‘太太’這樣的單詞，就可以學習如何查看文檔和前面所有的單詞，並判斷出哪一個名字可能跟在這一稱謂後面。」
已有的測試顯示，輸入「敏捷的棕色狐貍躍過了一只狗」，模型處理後寫到:「敏捷的棕色狐貍躍過了一只狗。這只狗真懶!’這有什麼了不起的?’我問到，棕色狐貍笑了，狗也舔了舔嘴唇。’我不知道。但你不必知道，因為一旦你懂了……’我懂了，我說。
輸入「John 今天早上醒來感覺很餓」，模型返回「John 今天早上醒來感覺很餓。這是因為這家餐廳一般會營業到 7 月份，但由於感恩節假期，餐廳有些窗口關門了。John 的晚飯只有一份拌上奶酪和調味品的新鮮蔬菜沙拉。土豆是棕色的，沙拉很有味道。」
而在另一類 Amazon 模型的測試中（用於指定產品類別、產品名稱、評論得分和評論摘要），輸入「一個很棒的手機」，隨後，產品切換設置為「手機及配件」，評論等級設置為「5」。
它生成的是:「這款手機太棒了! 我是 2013 年 7 月買的。我還會購買第二部的。它能通過麥克風發簡訊、播放音樂和與他人交談，而且音質很好。不過耳塞戴上幾個小時後，耳朵有點不舒服。我遇到的唯一問題是電池的壽命。這只是技術上的問題，手機使用一段時間後就會耗電嚴重。除此之外，我喜歡這款手機。這是我用過的最好的手機。這是一款很棒的手機。機殼的觸感很好，但是很容易變臟。如果你的手機上有錄影頭，你可以用它拍照。我上傳了自從我有了手機後的照片。
不得不說上面這個評論已經和人類用戶給出的評論非常接近了，無論是表達還是信息組織的邏輯。
（來源：OpenAI）
對此，OpenAI 表示，模型在第一次運行時，大約有一半的時間會生成「有趣的」和「連貫的」文本。Radford 說:「它試圖在盡可能少的信息下預測下一個單詞。你能給出的上下文越多，它就會表現得越好。」
而在 zero-shot 任務遷移的實驗中，模型沒有事先在任何特定於測試的數據集上進行訓練，OpenAI 表示，該模型的四種語言系統中最大的語言系統 OpenAI gps -2 在八個基準測試中，成功地在七個測試中獲得了最佳分數，包括 LAMBADA 測試 (模型在文本中建模長期依賴關係能力的測試)、Winograd 模式挑戰 (解決文本中歧義的能力的測試) 和 Penn Treebank(包含數百萬個標記了部分的文本的演講集合)。
（來源：OpenAI）
它還顯示出無監督學習任務的執行能力。在回答問題的測試中，它在獲得上下文的情況下的準確率達到 83.4%。
圖丨問答表現（來源：OpenAI）
「它能夠利用更大的模型和更多的數據成為一個‘多面手’，一般的語言預測任務都能執行得很好。在一些非常有針對性的任務中，如匯總或翻譯，它也展示了初步的潛力。這太令人興奮了，因為我們沒有明確針對這些任務進行訓練。」Radford 說。
盡管如此，Radford 和 OpenAI 技術人員傑弗里·吳 (Jeffrey Wu) 也承認，這還遠遠不是自然語言處理的終點：這些模型一次只能看到一頁以下的數據，而且在推理時邏輯並不完全一致——有時會有很誇張的數字，或者以一種荒謬的方式跑題了。OpenAI 團隊未來將繼續改進這些問題。
與以往的做法不同的是，這一次，OpenAI 既不發布用於培訓 NLP 模型的數據集，也不發布相關的語言模型或培訓代碼。它認為，發布這些信息可能會為濫用打開大門。
OpenAI 在博客中寫道:「同樣的工具，一個藝術家可以利用來幫助他們寫一個短篇小說的故事，可以用來製作關於某個公司的財務新聞，也可以在知名網站上創建虛假評論，甚至是強化政治性輿論影響…基於這些考慮，我們本著負責任的態度發布這個模型，希望貢獻或者得到溝負責任的討論，從而使記者、決策者等其他重要利益相關者也能夠理解和驗證我們所做的事情。」
OpenAI 所做的這項工作，其實也呼應了當下全球信息傳播中的一個重要議題——可以用來生成誤導性內容的 AI 系統正受到越來越多的審查。2018 年 9 月，美國國會議員就要求情報機構就 deepfake（AI 視頻造假）對國家安全的潛在影響提交報告。在 2018 年末的一次國會聽證會上，國會議員們在與 Facebook 首席經營官謝麗爾·桑德伯格 (Sheryl Sandberg) 和 Twitter 首席執行官傑克·多爾西 (Jack Dorsey) 交談時，也表達了對操縱 deepfake 的潛在影響的擔憂。
我們不排除，甚至可以肯定的說，未來 OpenAI 最新的這款語言模型或者其他類似的模型一定會被用來生成不真實或誤導性的故事。數據顯示，2018 年 3 月，半數美國人表示在新聞網站上看到了故意誤導的文章。有機構預測，如果目前的趨勢持續下去，到 2022 年，大多數發達國家的人每天將看到更多的虛假信息，而非真實信息。因此， OpenAI 的顧慮是完全合理的。
現在也有不少團隊正在開發能夠與假新聞 AI 對抗的 AI。例如，麻省理工學院的研究人員就在試圖用自動化工具來對抗人工和 AI 編寫的假新聞，這些工具可以判斷消息來源的準確性或政治偏見。但是，一些專家不相信這樣的做法能取得多顯著的效果。
卡內基梅隆大學機器人研究所 (Carnegie Mellon University Robotics Institute) 的科學家迪安·波默洛 (Dean Pomerleau) 參與組織了「假新聞挑戰賽」(Fake News Challenge)，這是一項眾包偏見檢測算法的競賽。他在一次採訪中透露，AI 缺乏對語言的細微理解，而這些理解是研究不真實和虛假陳述所必需的。
「實際上，我們一開始就有一個更宏偉的目標，那就是創建一個能夠回答‘這是假新聞嗎，是還是不是?’這個問題的系統。」「他說。「但我們很快意識到機器學習無法勝任這項任務。」
（來源：麻省理工科技評論）
但也不用如此消極。很明顯，各國在政策領域還有很多改善的空間。OpenAI 也希望通過這次研究，不僅能展示它在 NLP 領域取得的成果，還能在研究人員和監管機構之間引發辯論。
OpenAI 說:「我們在組織內部的初步共識的指導下得出一個結論，即這個模型在質量上優於以往，而且被濫用的可能性比我們參與的此前項目更高。我們最終希望創建一個由人工智能從業者組成的全球社區，讓他們思考特定類型信息發布的風險。」
不過，除了對假新聞的擔憂以外，這次的研究還繼續佐證了目前深度學習研究領域的一個「法則」（甚至可以認為是「詛咒」）：數據、計算資源和人才三大關鍵因素缺一不可，突破性成果越來越可能只有大機構大企業才能支撐完成。無論是去年 3 億參數的 BERT，還是現在動用了 15 億參數、每小時訓練價格高達 2048 美元的 GPT-2 ，都沒有避開。
