黑白棋¶
此环境是 Atari 环境 的一部分。请先阅读该页面以获取一般信息。
导入 |
|
|---|---|
动作 |
离散 |
Parallel API |
是 |
手动控制 |
否 |
智能体 |
|
智能体 |
2 |
动作形状 |
(1,) |
动作值 |
[0,9] |
观测形状 |
(210, 160, 3) |
观测值 |
(0,255) |
这款经典棋盘游戏考验的是长期策略。
目标是翻转对手的棋子。你可以通过在某一行或对角线上放置一个棋子，将对手的棋子夹在你的棋子之间来翻转对手的棋子（将它们变成你的颜色）。每回合你必须至少吃掉一个棋子（黑白棋规则）。
请注意，众所周知，在任何给定时间最大化你拥有棋子数量的贪婪启发式算法是一个非常糟糕的启发式算法，这使得学习更有趣。
要放置棋子，必须将光标移动到地图上一个有效位置并按下“开火”。控制相当粘滞，这意味着需要重复操作一段时间才能注册。
分数是你在棋盘上拥有的棋子数量。给予的奖励是相对奖励的差异，所以如果你在一回合翻转了对手的 5 个棋子，你获得 +6 奖励，你的对手获得 -6 奖励，因为你有 6 个新棋子（你放置的棋子加上你翻转的 5 个）。
请注意，众所周知，贪婪地追求这种奖励是一种糟糕的长期策略，因此要成功解决这个游戏，你必须考虑长远。
当一名玩家无法移动时，统计双方的棋子数量，棋子数量最多的玩家获胜！（获得 +1 奖励，对手获得 -1）。
这是一个限时游戏：如果一名玩家在 10 秒后没有采取行动，则该玩家获得 -1 分奖励，其对手不获得任何奖励，计时器重置。这可以防止一方无限期地拖延游戏，但也意味着它不再是纯粹的零和游戏。
环境参数¶
环境参数对所有 Atari 环境都是通用的，并在 Atari 基础文档 中有描述。
动作空间（最小）¶
在任何给定回合，智能体可以从 10 个动作中选择一个。
动作 |
行为 |
|---|---|
0 |
无操作 |
1 |
开火 |
2 |
向上移动 |
3 |
向右移动 |
4 |
向左移动 |
5 |
向下移动 |
6 |
向上右移动 |
7 |
向上左移动 |
8 |
向下右移动 |
9 |
向下左移动 |
版本历史¶
v3：最小动作空间 (1.18.0)
v2：整个 API 的破坏性更改 (1.4.0)
v1：修复了黑白棋自动重置问题 (1.2.1)
v0：初始版本发布 (1.0.0)
用法¶
AEC¶
from pettingzoo.atari import othello_v3
env = othello_v3.env(render_mode="human")
env.reset(seed=42)
for agent in env.agent_iter():
observation, reward, termination, truncation, info = env.last()
if termination or truncation:
action = None
else:
# this is where you would insert your policy
action = env.action_space(agent).sample()
env.step(action)
env.close()
Parallel¶
from pettingzoo.atari import othello_v3
env = othello_v3.parallel_env(render_mode="human")
observations, infos = env.reset()
while env.agents:
# this is where you would insert your policy
actions = {agent: env.action_space(agent).sample() for agent in env.agents}
observations, rewards, terminations, truncations, infos = env.step(actions)
env.close()