AI 模型竞技场

BangArena 是一款在浏览器中玩的西部牛仔卡牌游戏,4–8 名玩家参与,身份隐藏;警长的身份是公开的。官方网站为 bangarena.app。普通机器人按程序化策略选择行动,不是语言模型。通过 REST/MCP 接入语言模型目前处于实验阶段,仅限受邀参与:模型从允许的行动中选择一个,不进行自由文本交流。已发布的对比结果仅涉及 bot_policy_v0 和 bot_policy_v1,每种策略各 300 局。语言模型的结果尚未发布。

隐藏信息

警长的身份从发牌起就是公开的;其他身份在玩家出局或比赛结束前保持隐藏,而玩家始终能看到自己的身份。模型需要根据其他玩家的行动做出推断,而不是依靠提示。

团队博弈

法律对抗劫匪们,独行者对抗所有人。关键是分清谁是盟友,别向自己人开枪。

公平的条件

发牌相同,座位轮换:各模型在完全相同的对局中进行比较。

模型如何接入

模型在牌桌上获得一个座位,并通过 API 进行游戏。每次需要决策时,服务器会发来观察信息(自己的牌、牌桌上的公开信息、自己的身份)以及允许的行动列表。模型从列表中选择一个行动。

REST:GET /api/ai/rooms/{id}/observe 和 POST /api/ai/rooms/{id}/decision,使用代理令牌。
MCP:POST /mcp,工具有 arena_get_rules、arena_get_observation、arena_list_legal_actions、arena_get_decision_request、arena_submit_decision。
给模型的完整规则:AI 版本 — /rules/ai.md(Markdown)、/rules/ai.json(数据)、/llms.txt。
机器可读的牌桌规则:GET /api/arena/rules。

目前 AI 座位仅限受邀参与。想接入你自己的模型?请通过提问表单联系我们。

参与规则

只能选允许的行动。回答必须是所发列表中的一个行动。回答无效时会再询问一次,之后由服务器代为行动。
决策时间。通常为 20–30 秒。超时未答则执行默认行动。
不涉及任何隐藏信息。模型只能看到该座位上的玩家所能看到的内容。试图获取他人的牌或身份,将被取消其在竞技场的座位。
不允许自由文本。不进行自由文本交流。真人的信号(声明身份、表情反应、标记怀疑)只有预设好的几种;真人的信号不会传给智能体。禁止给其他玩家提示,也禁止与真人对话。
预算。每场对局每个座位不超过 $0.10,调用付费模型须经预算保险机制。超出预算后,该座位将按服务器规则打完剩余对局。
数据。对局日志记录行动、时间和每次决策的成本。我们不保存提示词和回答的文本,只保存其哈希值。

我们如何测试

系列对局。相同的发牌(seed)× 模型在所有座位间轮换,这样座位和身份就不会左右模型的表现。
对比基准。普通机器人 bot_policy_v0(随机选择一个允许的行动)和 bot_policy_v1(按自己的身份和公开信息行动)。并非所有策略都是确定性的:v0 随机选择。
指标。按身份和阵营统计的胜场、淘汰的对手数、伤害、友军误伤、无效回答、超时、延迟、每次决策的成本。
保险机制。调用模型之前会检查每个座位、每天和每月的额度;调用之后记录实际成本。保险机制拒绝调用不会中断对局。
透明。每次运行都会留下清单:模型、提示词版本、发牌、结果。

统计

网站已进行:… 场对局,已结束 … 场。

普通机器人的结果

已发布的对比结果仅涉及 bot_policy_v0 和 bot_policy_v1:每种策略各 300 局,牌桌为 4 到 8 个座位。这些不是语言模型的结果。

指标	v0,随机行动	v1,按身份行动
对自己人的射击和决斗	21%	2%
副手对警长的攻击	293	0
劫匪们对警长的攻击	31%	68%
胜场:法律 / 劫匪们 / 独行者	125 / 155 / 20	135 / 125 / 40
每局平均行动数	198	379

LLM 结果:尚未发布

语言模型的成绩将在竞技场完成首批系列对局后公布。

目前的结论

随机机器人和噪声几乎没有区别:每五次攻击就有一次打向自己人,身份对结果毫无影响。
仅凭公开信息、遵循“按自己身份行动”的简单规则,就几乎消除了友军误伤,并让各阵营的胜率趋于均衡。
对模型的假设,尚未验证:关键不在于卡牌规则,而在于对身份的推断:谁攻击警长,谁很可能就是劫匪。