谷歌造了個虛擬足球場,讓AI像打FIFA一樣做強化學習訓練丨開源有API

郭一璞 發自 蘇州街 
量子位 報道 | 公衆號 QbitAI

除了下棋、雅達利遊戲和星際,AI終於把“魔爪”伸向了粉絲衆多的體育競技活動:

足球。

今天,谷歌開源了足球模擬環境Google Research Football,智能體可以在這個宛若FIFA的世界裏自由踢球,學到更多踢球技巧。

用足球進行強化學習訓練,對AI來說更有挑戰性,不僅要能控球,還得搞懂傳球、角球這些概念,知道什麼時候會犯規吃紅牌黃牌,同時訓練出足夠機智的策略。雖然AI足球沒有體能挑戰,但智慧上的要求有增無減。

不少熱愛足球的網友看到之後都十分激動,終於能把自己的愛好和研究結合在一起了。

640?wx_fmt=png

甚至還有人爲中國足球請願:求谷歌幫幫國足吧!

640?wx_fmt=png

可以打人機的足球引擎

這個模擬環境基於開源的足球遊戲模擬器Gameplay Football,用C++編寫,在GPU和CPU上都能跑。

整個環境包含一場球賽中的各種環節,和正常的人類足球賽一樣,兩支隊伍各11名運動員,一個智能體可以控制一個球員,也可以控制一整隻隊伍,雙方遵循正常的足球規則進行比賽。

比如可以開球。

640?wx_fmt=png

射門。

640?wx_fmt=png

還有裁判會給出判罰,智能體也可能吃紅牌黃牌。

640?wx_fmt=png

必要的時候還得會踢角球。

640?wx_fmt=png

整個模擬環境中,AI球員們可以進行包括上下左右移動、長傳、射門等在內的16種動作。

640?wx_fmt=png

甚至,AI球員們還會和人類一樣,踢久了就會累,你還能給每支球隊準備3個題目。總之,這個模擬環境相當完備,具備各種功能和規則體系。

而且操作也十分方便,你可以直接用API把OpenAI Gym接入進來。

640?wx_fmt=png

而且,整個模擬環境中不僅可以用AI球員,還可以手動控制球員,用鍵盤上下左右移動,按字母鍵進行傳球、射門等操作,與AI對戰。

640?wx_fmt=png

模擬環境內置了高中低三個難度的對手AI,也可以自行調整難度。當然你也可以把兩個自己的AI放進去,讓他們互相傷害。

benchmark

Google不只準備了模擬環境,還爲這個AI足球設定了一套benchmark。

谷歌用DQN和Impala兩個強化學習算法在模擬環境中測試,將它們的獎勵均設定爲進球得分,在高中低三個難度上得到了運行結果。

640?wx_fmt=png

足球學院

另外,爲了讓AI專點突破,Google還推出了足球學院(Football Academy),針對各種難度場景進行單獨訓練。

包括傳球策略

640?wx_fmt=gif

隊友配合

640?wx_fmt=gif

碰到2打1怎麼辦

640?wx_fmt=gif

角球得分訓練

640?wx_fmt=gif

傳送門

Google AI博客:
https://ai.googleblog.com/2019/06/introducing-google-research-football.html

論文下載地址:
https://github.com/google-research/football/blob/master/paper.pdf?raw=True

GitHub:
https://github.com/google-research/football


小程序|全類別AI學習教程

640?wx_fmt=jpeg

AI社羣|與優秀的人交流

640?wx_fmt=jpeg

640?wx_fmt=jpeg

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態

喜歡就點「在看」吧 !

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章