Melting Pot Arena
正在连接实验站

CLEAN UP / 多智能体公共资源博弈

七个智能体,一个共享世界。

采集苹果,还是清理河流?观察个体选择如何影响整个群体。

实验环境DeepMind Melting Pot官方七人地图 · 真实模型对局

学习过程 点击阶段,观看真实对局

正在读取实验记录

INDEPENDENT MATCH

正在连接观战画面

准备真实比赛画面实验数据加载中
真实环境画面连接中
玩法与规则 +

七名玩家共享果园与河流。采集一颗苹果获得 1 分。

污染抑制苹果再生;污染过多时停止再生。清理河流让所有玩家获得更多资源。

清理会占用采集时间。电击让对手暂时离场 50 步,本身不直接加分。

这是非零和公共资源博弈,个人收益排名不等于胜率。

查看官方规则 ↗
step ——
等待比赛引擎原始画面 · 策略独立运行

HOW IT LEARNS

策略如何学会合作?

先观察阶段记录,再在独立对局中检验策略表现。损失下降并不代表策略变强。

i
看真实收益,不把辅助奖励当成绩。

训练会使用协作奖励与个人清理反馈。展示与评估均报告环境原始苹果收益。

独立评估 能力由完整对局检验

等待读取评估
等待真实独立评估数据

不同阵容分别比较,不把收益排名当作胜率。

训练细节与服务器状态正在读取
训练环境步数——
训练状态——
服务器 CPU——
磁盘剩余—模型与录像限制保留量

当前训练方案

6000 环境步个人视角示范预训练 → 共享小型 CNN PPO。学习奖励 = 0.2 × 自身苹果 + 0.8 × 七人平均苹果 + 0.05 × 自身成功清理;展示成绩始终使用原始苹果收益。

单环境、单 CPU 线程;每批 128 环境步 × 7 玩家,minibatch 128,2 epochs,Adam 1e-4,gamma 0.995,GAE 0.95,clip 0.2。轨迹按玩家分开;策略只读取个人视角和自身状态。

优化指标 loss / entropy

仅用于监测优化过程;不直接代表策略能力。

训练对局收益 原始群体奖励

等待完整对局

历史比赛与回放查看已保存的完整比赛

回放使用比赛时保存的真实引擎帧。