這是一個允許你在幾乎任何街機遊戲中訓練你的強化學習算法的Python庫，它目前在Linux系統上可用。通過這個工具包，你可以定製算法逐步完成遊戲過程，同時接收每一幀的數據和內部存儲器地址值以跟蹤遊戲狀態，以及發送與遊戲交互的動作。
推薦一下我的Python學習交流q-u-n-【 784758214 】內有安裝包和學習視頻資料，零基礎，進階，，大牛在線解答疑問。希望可以幫助你快速瞭解Python、學習python
安裝
GitHub地址：github.com/M-J-Murray/MAMEToolkit/blob/master/README.md
你可以用pip安裝這個庫，只需運行以下命令：
pip install MAMEToolkit
演示：街霸
街霸是史上最經典的遊戲之一。現在工具包內包含的街霸版本是街頭霸王3：三度衝擊（Japan 990608, NO CD），我們以此爲例，用以下代碼寫一個隨機智能體：
import random
from MAMEToolkit.sf_environment import Environment
roms_path = "roms/"
env = Environment("env1", roms_path)
env.start()
while True:
move_action = random.randint(0, 8)
attack_action = random.randint(0, 9)
frames, reward, round_done, stage_done, game_done = env.step(move_action, attack_action)
if game_done:
env.new_game()
elif stage_done:
env.next_stage()
elif round_done:
env.next_round()
支持hogwild!
hogwild!？ Niu等人引入了一個叫做 Hogwild! 的更新策略，可以使 SGD 可以在多 CPU 上並行更新。處理器在無需對參數加鎖的情況下就可以訪問共享內存。但僅在輸入的是稀疏數據時纔有效，因爲每次更新僅修改所有參數的一小部分。他們展示了在這種情況下，更新策略幾乎可以達到一個最優的收斂率，因爲處理器不太可能覆蓋掉有用的信息。
from threading import Thread
import random
from MAMEToolkit.sf_environment import Environment
def run_env(env):
env.start()
while True:
move_action = random.randint(0, 8)
attack_action = random.randint(0, 9)
frames, reward, round_done, stage_done, game_done = env.step(move_action, attack_action)
if game_done:
env.new_game()
elif stage_done:
env.next_stage()
elif round_done:
env.next_round()
def main():
workers = 8
# Environments must be created outside of the threads
roms_path = "roms/"
envs = [Environment(f"env{i}", roms_path) for i in range(workers)]
threads = [Thread(target=run_env, args=(envs[i], )) for i in range(workers)]
[thread.start() for thread in threads]
建立自己的遊戲環境
這個工具包之所以易於上手，是因爲它和模擬器本身不需要太多交互，只需注意兩點——一是查找你關注的內部狀態相關聯的內存地址值，二是用選取的環境跟蹤狀態。你可以用MAME Cheat Debugger，它會反饋遊戲的內存地址值如何隨時間變化。如果要創建遊戲模擬，你得先獲得正在模擬的遊戲的ROM，並知道MAME使用的遊戲ID，比如街霸的ID是'sfiii3n'。
遊戲ID
你可以通過運行以下代碼找到遊戲的ID
from MAMEToolkit.emulator import Emulator
emulator = Emulator("env1", "", "", memory_addresses)
這個命令會打開MAME仿真器。你可以搜索遊戲列表以找到想要的遊戲，遊戲的ID位於遊戲標題末尾的括號中。
內存地址
如果獲得了ID，也有了想要跟蹤的內存地址，你可以開始模擬：
from MAMEToolkit.emulator import Emulator
from MAMEToolkit.emulator import Address
roms_path = "roms/"
game_id = "sfiii3n"
memory_addresses = {
"fighting": Address('0x0200EE44', 'u8'),
"winsP1": Address('0x02011383', 'u8'),
"winsP2": Address('0x02011385', 'u8'),
"healthP1": Address('0x02068D0B', 's8'),
"healthP2": Address('0x020691A3', 's8')
}
emulator = Emulator("env1", roms_path, "sfiii3n", memory_addresses)
這會啓動仿真器，並在工具包連接到模擬器進程時暫停。
分步運行仿真器
連接工具箱後，你可以分步運行仿真器：
data = emulator.step([])
frame = data["frame"]
is_fighting = data["fighting"]
player1_wins = data["winsP1"]
player2_wins = data["winsP2"]
player1_health = data["healthP1"]
player2_health = data["healthP2"]
step函數會把幀數據作爲NumPy矩陣返回，同時，它也會返回該時間步長的所有內存地址整數值。
如果要向仿真器輸入動作，你還需要確定遊戲支持的輸入端口和字段。比如玩街霸需要先投幣，這個代碼是：
from MAMEToolkit.emulator import Action
insert_coin = Action(':INPUTS', 'Coin 1')
data = emulator.step([insert_coin])
要確定哪些端口可用，請使用list actions命令：
from MAMEToolkit.emulator import list_actions
roms_path = "roms/"
game_id = "sfiii3n"
print(list_actions(roms_path, game_id))
下面這個返回的列表就包含街霸環境中可用於向步驟函數發送動作的所有端口和字段：
[
{'port': ':scsi:1:cdrom:SCSI_ID', 'field': 'SCSI ID'},
{'port': ':INPUTS', 'field': 'P2 Jab Punch'},
{'port': ':INPUTS', 'field': 'P1 Left'},
{'port': ':INPUTS', 'field': 'P2 Fierce Punch'},
{'port': ':INPUTS', 'field': 'P1 Down'},
{'port': ':INPUTS', 'field': 'P2 Down'},
{'port': ':INPUTS', 'field': 'P2 Roundhouse Kick'},
{'port': ':INPUTS', 'field': 'P2 Strong Punch'},
{'port': ':INPUTS', 'field': 'P1 Strong Punch'},
{'port': ':INPUTS', 'field': '2 Players Start'},
{'port': ':INPUTS', 'field': 'Coin 1'},
{'port': ':INPUTS', 'field': '1 Player Start'},
{'port': ':INPUTS', 'field': 'P2 Right'},
{'port': ':INPUTS', 'field': 'Service 1'},
{'port': ':INPUTS', 'field': 'Coin 2'},
{'port': ':INPUTS', 'field': 'P1 Jab Punch'},
{'port': ':INPUTS', 'field': 'P2 Up'},
{'port': ':INPUTS', 'field': 'P1 Up'},
{'port': ':INPUTS', 'field': 'P1 Right'},
{'port': ':INPUTS', 'field': 'Service Mode'},
{'port': ':INPUTS', 'field': 'P1 Fierce Punch'},
{'port': ':INPUTS', 'field': 'P2 Left'},
{'port': ':EXTRA', 'field': 'P2 Short Kick'},
{'port': ':EXTRA', 'field': 'P2 Forward Kick'},
{'port': ':EXTRA', 'field': 'P1 Forward Kick'},
{'port': ':EXTRA', 'field': 'P1 Roundhouse Kick'},
{'port': ':EXTRA', 'field': 'P1 Short Kick'}
]
仿真器類還有一個frame_ratio參數，可用於調整算法所見的幀速率。默認情況下，MAME以每秒60幀的速度生成幀，如果你覺得這太多了，想把它改成每秒20幀，可以輸入以下代碼：
from MAMEToolkit.emulator import Emulator
emulator = Emulator(roms_path, game_id, memory_addresses, frame_ratio=3)
MAME性能基準測試
目前這個工具包的開發和測試已在8核AMD FX-8300 3.3GHz CPU以及3GB GeForce GTX 1060 GPU上完成。在使用單個隨機智能體的情況下，街頭霸王環境可以以正常遊戲速度的600％+運行。而如果是用8個隨機智能體進行hogwild!訓練，環境可以以正常遊戲速度的300％+運行。
ConvNet智能體
爲了確保工具包能夠訓練算法，作者還設置了一個簡單的5層ConvNet，只需少量調整，你就可以用它進行測試。在街霸實驗中，這個算法能夠成功學習到遊戲的一些簡單技巧，比如連擊（combo）和格擋（blocking）。街霸本身的遊戲機制是分成10個關卡（難度遞增），玩家在每個關卡都要迎戰不同的對手。剛開始的時候，這個智能體平均只能打到第2關。但在經過2200次訓練後，它平均能打到第5關。
至於智能體的學習率，它是用每一局智能體所造成的淨傷害和所承受的傷害來計算的。
推薦一下我的Python學習交流q-u-n-【 784758214 】內有安裝包和學習視頻資料，零基礎，進階，，大牛在線解答疑問。希望可以幫助你快速瞭解Python、學習python