【新智元導讀】繼圍棋、Dota和星際爭霸後，AI進軍體育遊戲了！最近，GoogleAI發布足球遊戲強化學習訓練環境「足球引擎」，智能體經過由易到難的強化學習自我比賽訓練，成功完成跑動配合、防守反擊、二過一、門前搶點得分等高級行為。足球遊戲「虐電」要成為歷史了嗎？

強化學習（RL）的目標是培養能夠與環境互動並解決複雜任務的智能體，開發出機器人技術的更多實際應用。近年來，讓智能體玩遊戲，如標誌性的Atari主機遊戲、圍棋遊戲，專業視頻遊戲等，如Dota 2或《星際爭霸2》，推動了這一領域的快速發展。所有這些遊戲都提供了極具挑戰性的訓練環境，可以以安全、可重復的方式快速測試新的算法和理念。

對於強化學習來說，足球類遊戲尤其具有挑戰性，因為智能體需要在短期內學會控制、學習陌生概念（比如傳球），並在高水平的不同戰略之間做到自然平衡。

為此，Google AI 發布了一個新的強化學習環境Google Research Football Environment，智能體的目標是掌握世界上最受歡迎的體育項目——足球。該環境以流行的足球視頻遊戲為模型，提供基於真實的3D足球模擬，由智能體控制球隊中的一個或所有球員，學習如何傳球，並設法突破對方的防守取得進球。這個環境由幾個關鍵部分組成：高度優化的遊戲引擎、一系列嚴格的基準，以及由易變難的強化學習場景。為了便於研究，我們在Github上發布了基礎開源代碼的測試版。

強化學習「足球引擎」:真實模擬足球場上常見場景事件

該強化學習環境的核心是一種先進的足球遊戲模擬，稱為「足球引擎」，它基於一個足球遊戲版本經大量修改而成。根據兩支對方球隊的輸入動作，模擬了足球比賽中的常見事件和場景，包括進球、犯規、角球和點球、越位等。「足球引擎」採用高度優化的C++代碼編寫，可以在現有的計算機上運行，無論是否依賴GPU渲染都可以運行。在單CPU六核計算機上的運行速度可以達到每天約2500萬步。

「足球引擎」是一種先進的足球遊戲環境模擬，支持所有主要的足球比賽規則，如開球（左上），進球（右上），犯規，出牌（左下），角球和點球（右下）和越位。

此外，該引擎還具備了針對強化學習的更多功能。首先，引擎可以從不同的狀態表示中學習，包括玩家位置之類的語義信息，也可以從原始像素進行學習。其次，為了研究隨機性對遊戲的影響，可以在隨機模式（默認設置即為隨機模式）下運行，在該模式下，環境和對手AI動作中都存在隨機性，而在確定模式中不存在隨機性。第三，開箱即用，與廣泛使用的OpenAI Gym API 兼容。研究人員可以通過使用鍵盤或遊戲手柄與智能體對戰，來獲得對遊戲的感覺。

訓練基準：由易到難，進球和帶球近門都有獎勵

通過基準測試，研究人員為基於足球引擎的強化學習研究設立了一系列基準問題，其目標是針對固定的基於規則的對手進行「標準」的足球遊戲，這些對手是為此而手工設計的。我們提供三個版本的基準：簡單、普通和困難，實力由弱到強。

作為參考，本研究提供了兩種最先進的強化學習算法的基準測試結果：DQN和IMPALA，它們既可以在一台機器上的多個進程中運行，也可以在多台機器上同時運行。我們針對兩種獎勵設置進行了研究，第一種設置提供的唯一獎勵是取得進球。第二種設置為智能體將球移動至球門附近提供額外的獎勵。

研究結果表明，簡單模式下的基準測試似乎更適用於單機版算法的研究，困難模式的基準即使對於大規模分布式強化學習算法而言也具有很大的挑戰性。基於環境的性質和基準測試的難度，我們期望這些測試和環境可用於研究當前的科學難題，例如樣本有效的強化學習、稀疏獎勵，或基於模型的強化學習等。

不同基線的不同難度級別的智能體的測試結果。對於簡單模式基準測試的對手，DQN智能體訓練2000萬步即可戰勝，而要戰勝中等和困難模式的對手需要使用大規模分布式算法，如IMPALA，需要訓練2億步。

未來方向：從自訓練到適應對手

為了完成完整的足球策略訓練，研究人員還提供了「足球學院」，提供各種測試難度的多個場景。研究人員可以探索新的研究思路，測試更高級的概念，並為課程學習研究思路提供基礎。

智能體可以從由易到難的場景中學習。「足球學院」場景示例包括，智能體必須學習如何在球員之間快速傳接球，並學習如何進行防守反擊。研究人員可以使用簡單的API，進一步自定義場景並訓練智能體解決更多問題。

由上至下：（1）一個成功的進攻策略，迎球跑動，面對門將射門得分。（2）策動並完成一次漂亮的反擊。（3）應對前場2打1的簡單方式。（4）角球後門前搶點得分。

此次提出的足球遊戲智能體訓練基準遵循的是標準的強化學習設置，由智能體與固定的對手競爭，競爭對手被視為環境的一部分。而實際上，足球是一個雙方的遊戲，是兩個不同的球隊之間的競爭，一方必須要適應對方的行動和戰略。我們為研究這種環境提供了獨特的機會，一旦我們完成了自遊戲的測試，就可以進一步研究更多更有趣的測試環境。

參考鏈接：

https://ai.googleblog.com/2019/06/introducing-google-research-football.html

‘,