Google發布「多巴胺」開源強化學習框架，三大特性全滿足

尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️

Google發布「多巴胺」開源強化學習框架，三大特性全滿足科技第1張

Google發布「多巴胺」開源強化學習框架，三大特性全滿足科技第2張

編譯整理 | Just

編輯 | 阿司匹林

出品 | AI科技大本營

強化學習是一種非常重要的 AI 技術，它能使用獎勵（或懲罰）來驅動智能體（agents）朝著特定目標前進，比如它訓練的 AI 系統 AlphaGo 擊敗了頂尖圍棋選手，它也是 DeepMind 的深度 Q 網路（DQN）的核心部分，它可以在多個 workers 之間分步學習，例如，在 Atari 2600 遊戲中做到「超人」性能。

麻煩的是，強化學習框架需要花費大量時間來掌握一個目標，而且框架往往是不靈活和不總是穩定的。

但不用擔心，Google 最近發布了一個替代方案：基於 TensorFlow 的開源強化學習框架 Dopamine（多巴胺）。

Google 的博文中提到，這個基於 Tensorflow 的強化學習框架，旨在為 RL 的研究人員提供靈活性，穩定性和可重復性的研究。受到大腦中獎勵動機行為的主要成分的啟發，以及反映神經科學與強化學習研究之間強烈的歷史聯繫，該平台旨在做到可推動激進發現的思辨研究（speculative research）。此版本還包括一組闡明如何使用整個框架的 colabs。

除了強化學習框架的發布，Google還推出了一個網站（https://google.github.io/dopamine/baselines/plots.html），允許開發人員快速可視化多個智能體的訓練運行情況。他們希望，這一框架的靈活性和易用性將使研究人員能積極嘗試新的想法，不管是漸進式還是激進式的想法。

以下為 Google 博客詳細內容：

引入靈活和可重復的強化學習研究的新框架

強化學習（RL）研究在過去幾年中取得了許多重大進展。這些進步使得智能體可以以超人類級別的能力玩遊戲。比如 Atari 遊戲中 DeepMind 的 DQN ，AlphaGo ，AlphaGo Zero 以及 Open AI Five。

具體而言，在 DQN 中引入 replay memories 可以利用以前的智能體經驗，大規模的分布式訓練可以在多個 workers 之間分配學習過程，分布式方法允許智能體模擬完整的分布過程，而不僅僅是模擬它們期望值，以學習更完整的圖景。這種類型的進展很重要，因為出現這些進步的算法還適用於其他領域，例如機器人技術。

通常，這種進步都來自於快速迭代設計（通常沒有明確的方向），以及顛覆既定方法的結構。然而，大多數現有的 RL 框架並沒有結合靈活性和穩定性以及使研究人員能夠有效地迭代 RL 方法，並因此探索可能沒有直接明顯益處的新研究方向。此外，從現有框架再現結果通常太耗時，這可能導致科學的再現性問題。

今天，我們推出了一個新的基於 Tensorflow 的框架，旨在為 RL 的研究人員提供靈活性、穩定性和可重復性。受到大腦中獎勵動機行為的主要成分的啟發，以及反映神經科學與強化學習研究之間強烈的歷史聯繫，該平台旨在做到可推動激進發現的思辨研究（speculative research）。此版本還包括一組闡明如何使用整個框架的 colabs。

易用性

清晰和簡潔是該框架設計中要考慮的兩個關鍵因素。我們提供更精簡的代碼（大約 15 個Python 文件），並且有詳細記錄。這是通過專注於 Arcade 學習環境（一個成熟的，易於理解的基準）和四個基於 value 的智能體來做到的：DQN，C51，一個精心策劃的 Rainbow 智能體的簡化版本，以及隱式分位數網路（Implicit Quantile Network）智能體，這已在上個月的 ICML 大會上已經發表。我們希望這種簡潔性使研究人員能夠輕鬆了解智能體內部的運作狀況，並積極嘗試新的想法。

可重復性

我們對重復性在強化學習研究中的重要性特別敏感。為此，我們為代碼提供完整的測試覆蓋率，這些測試也可作為其他文檔形式。此外，我們的實驗框架遵循 Machado 等人給出的關於使用 Arcade 學習環境標準化經驗評估的建議。

基準測試

對於新的研究人員來說，能夠根據既定方法快速對其想法進行基準測試非常重要。因此，我們為 Arcade 學習環境支持的 60 個遊戲提供四個智能體的完整培訓數據，可用作 Python pickle 文件（用於使用我們框架訓練的智能體）和 JSON 數據文件（用於與受過其他框架訓練的智能體進行比較）；我們還提供了一個網站，你可以在其中快速查看 60 個遊戲中所有智能體的訓練運行情況。

下面展示我們在 Seaquest 上的 4 個代理的訓練情況，這是由 Arcade 學習環境支持的一種 Atari 2600 遊戲。

Google發布「多巴胺」開源強化學習框架，三大特性全滿足科技第7張