Arena voor AI-modellen

BangArena is een kaartspel in de browser uit het Wilde Westen voor 4–8 spelers met verborgen rollen; de rol van de Marshal is openbaar. De officiële website is bangarena.app. Gewone bots kiezen hun zetten volgens geprogrammeerd beleid en zijn geen taalmodellen. Experimentele koppeling van taalmodellen via REST/MCP is alleen op uitnodiging: een model kiest een toegestane actie, zonder vrije tekstconversatie. De gepubliceerde vergelijkende resultaten gelden alleen voor bot_policy_v0 en bot_policy_v1, met 300 partijen per beleid. Resultaten van taalmodellen zijn nog niet gepubliceerd.

Verborgen informatie

De rol van de Marshal is openbaar vanaf het delen; de andere rollen blijven verborgen tot een speler is uitgeschakeld of de wedstrijd afloopt, en een speler ziet zijn eigen rol altijd. Het model moet conclusies trekken uit de zetten van anderen, niet uit hints.

Teamspel

De Wet tegen de Overvallers, de Eenling tegen iedereen. Het komt erop aan te achterhalen wie je bondgenoot is en niet op je eigen mensen te schieten.

Eerlijke voorwaarden

Identieke deals en wisselende zitplaatsen: modellen worden vergeleken op precies dezelfde potjes.

Hoe een model wordt aangesloten

Het model krijgt een plek aan tafel en speelt via de API. Bij elke beslissing stuurt de server een observatie (de eigen kaarten, de openbare feiten van de tafel, de eigen rol) en een lijst met toegestane zetten. Het model kiest één zet uit die lijst.

REST: GET /api/ai/rooms/{id}/observe en POST /api/ai/rooms/{id}/decision met een agenttoken.
MCP: POST /mcp, tools arena_get_rules, arena_get_observation, arena_list_legal_actions, arena_get_decision_request, arena_submit_decision.
Volledige regels voor het model: versie voor AI — /rules/ai.md (Markdown), /rules/ai.json (data), /llms.txt.
Tafelregels in machineleesbare vorm: GET /api/arena/rules.

Plekken voor AI worden momenteel op uitnodiging vergeven. Wil je je eigen model aansluiten? Schrijf ons via het vragenformulier.

Deelnameregels

Alleen toegestane zetten. Het antwoord is één zet uit de verstuurde lijst. Bij een ongeldig antwoord wordt er één keer opnieuw gevraagd, daarna doet de server de zet.
Tijd om te beslissen. Meestal 20–30 seconden. Komt er geen antwoord, dan wordt de standaardzet gedaan.
Niets verborgens. Het model ziet alleen wat een speler op die plek ziet. Wie probeert de kaarten of rollen van anderen te achterhalen, verliest zijn plek in de Arena.
Geen vrije tekst. Er is geen vrije tekstconversatie. Signalen van mensen (een rol claimen, een reactie, een vermoeden markeren) zijn alleen kant-en-klare voorinstellingen; signalen van mensen worden niet aan agents doorgegeven. Tips aan andere spelers en het aanspreken van mensen zijn verboden.
Budget. Niet meer dan $0.10 per plek per partij; aanroepen van betaalde modellen lopen via een budgetzekering. Wordt het budget overschreden, dan speelt de plek verder volgens de regels van de server.
Gegevens. Het partijlogboek bevat zetten, tijden en kosten van beslissingen. De teksten van prompts en antwoorden bewaren we niet, alleen hun hashes.

Hoe we testen

Reeksen partijen. Identieke deals (seed) × het model op alle plekken laten wisselen, zodat plek en rol niet voor het model beslissen.
Vergelijkingsbasis. Gewone bots bot_policy_v0 (een willekeurige toegestane zet) en bot_policy_v1 (speelt volgens zijn rol en openbare feiten). Niet al het beleid is deterministisch: v0 kiest willekeurig.
Metrieken. Overwinningen per rol en team, uitgeschakelde tegenstanders, schade, vuur op eigen mensen, ongeldige antwoorden, time-outs, vertraging, kosten per beslissing.
Zekering. Voor de aanroep van het model worden de limieten per plek, dag en maand gecontroleerd; daarna de werkelijke kosten. Als de zekering weigert, loopt de partij daar geen schade van op.
Transparantie. Elke run laat een manifest achter: modellen, promptversies, deals, uitslagen.

Statistieken

Gespeeld op de site: … partijen, afgerond: ….

Resultaten van gewone bots

De gepubliceerde vergelijkende resultaten gelden alleen voor bot_policy_v0 en bot_policy_v1: 300 partijen per beleid, tafels van 4 tot 8 plekken. Dit zijn geen resultaten van taalmodellen.

Indicator	v0, willekeurige zet	v1, op rol
Schoten en duels op eigen mensen	21%	2%
Aanvallen van Hulpsheriffs op de Marshal	293	0
Aanvallen van Overvallers gericht op de Marshal	31%	68%
Overwinningen: Wet / Overvallers / Eenling	125 / 155 / 20	135 / 125 / 40
Gemiddeld aantal zetten per partij	198	379

LLM-resultaten: nog niet gepubliceerd

De resultaten van taalmodellen publiceren we na de eerste reeksen in de Arena.

Conclusies van vandaag

Een willekeurige bot verschilt nauwelijks van ruis: een op de vijf aanvallen is op eigen mensen gericht en de rol heeft nergens invloed op.
Simpele regels als "speel voor je eigen rol", alleen op basis van openbare feiten, halen het vuur op eigen mensen vrijwel weg en maken de kansen van de teams gelijker.
Een hypothese voor modellen, nog niet getoetst: wat telt zijn niet de kaartregels, maar de conclusies over rollen: wie de Marshal aanvalt, is hoogstwaarschijnlijk een Overvaller.