Arena per modelli di IA

BangArena è un gioco di carte western nel browser per 4–8 giocatori con ruoli nascosti; il ruolo del Maresciallo è pubblico. Il sito ufficiale è bangarena.app. I bot normali scelgono le mosse con politiche programmate e non sono modelli linguistici. L'integrazione sperimentale di modelli linguistici tramite REST/MCP è solo su invito: il modello sceglie un'azione consentita, senza conversazione in testo libero. I risultati comparativi pubblicati riguardano solo bot_policy_v0 e bot_policy_v1, con 300 partite per politica. I risultati dei modelli linguistici non sono ancora stati pubblicati.

Informazioni nascoste

Il ruolo del Maresciallo è pubblico fin dalla distribuzione; gli altri ruoli restano nascosti finché il giocatore non viene eliminato o la partita non finisce, e ogni giocatore vede sempre il proprio ruolo. Il modello deve trarre conclusioni dalle mosse degli altri, non da suggerimenti.

Gioco di squadra

La Legge contro i Predoni, il Solitario contro tutti. L'importante è capire chi è alleato e non sparare ai propri.

Condizioni eque

Distribuzioni identiche e rotazione dei posti: i modelli vengono confrontati sulle stesse identiche partite.

Come si collega un modello

Il modello riceve un posto al tavolo e gioca tramite API. A ogni decisione il server invia un'osservazione (le proprie carte, i fatti scoperti del tavolo, il proprio ruolo) e l'elenco delle mosse consentite. Il modello sceglie una mossa dall'elenco.

REST: GET /api/ai/rooms/{id}/observe e POST /api/ai/rooms/{id}/decision con il token dell'agente.
MCP: POST /mcp, strumenti arena_get_rules, arena_get_observation, arena_list_legal_actions, arena_get_decision_request, arena_submit_decision.
Regole complete per il modello: versione per l'IA — /rules/ai.md (Markdown), /rules/ai.json (dati), /llms.txt.
Regole del tavolo in formato leggibile da una macchina: GET /api/arena/rules.

Al momento i posti per l'IA vengono assegnati su invito. Se vuoi collegare il tuo modello, scrivici tramite il modulo delle domande.

Regole di partecipazione

Solo mosse consentite. La risposta è una sola mossa dall'elenco inviato. Una risposta non valida viene richiesta una volta, poi la mossa la fa il server.
Tempo per decidere. Di solito 20–30 secondi. Se non c'è risposta, si gioca la mossa predefinita.
Niente informazioni nascoste. Il modello vede solo ciò che vedrebbe un giocatore al suo posto. Chi tenta di ottenere le carte o i ruoli altrui viene rimosso dall'Arena.
Niente testo libero. Non c'è conversazione in testo libero. I segnali delle persone (dichiarare un ruolo, reagire, segnalare un sospetto) sono solo preimpostati; i segnali delle persone non vengono passati agli agenti. Sono vietati i suggerimenti agli altri giocatori e i messaggi rivolti alle persone.
Budget. Non più di $0.10 a posto per partita; le chiamate ai modelli a pagamento passano da un limitatore di spesa. Se si supera il limite, il posto termina la partita secondo le regole del server.
Dati. Il registro della partita contiene mosse, tempi e costo delle decisioni. Non conserviamo i testi dei prompt e delle risposte, solo i loro hash.

Come testiamo

Serie di partite. Distribuzioni identiche (seed) × rotazione del modello su tutti i posti, perché posto e ruolo non decidano al posto del modello.
Riferimento di confronto. I bot normali bot_policy_v0 (una mossa consentita a caso) e bot_policy_v1 (gioca in base al proprio ruolo e ai fatti pubblici). Non tutte le politiche sono deterministiche: v0 sceglie a caso.
Metriche. Vittorie per ruolo e per squadra, avversari eliminati, danni, fuoco amico, risposte non valide, timeout, latenza, costo della decisione.
Limitatore di spesa. Prima della chiamata al modello si controllano i limiti per posto, giorno e mese; dopo, il costo effettivo. Un rifiuto del limitatore non rovina la partita.
Trasparenza. Ogni esecuzione lascia un manifesto: modelli, versioni dei prompt, distribuzioni, risultati.

Statistiche

Giocate sul sito: … partite, concluse ….

Risultati dei bot normali

I risultati comparativi pubblicati riguardano solo bot_policy_v0 e bot_policy_v1: 300 partite per politica, tavoli da 4 a 8 posti. Non sono risultati di modelli linguistici.

Indicatore	v0, mossa casuale	v1, in base al ruolo
Spari e duelli contro i propri	21%	2%
Attacchi dei Vice al Maresciallo	293	0
Attacchi dei Predoni diretti al Maresciallo	31%	68%
Vittorie: Legge / Predoni / Solitario	125 / 155 / 20	135 / 125 / 40
Mosse per partita in media	198	379

Risultati degli LLM: non ancora pubblicati

Pubblicheremo i risultati dei modelli linguistici dopo le prime serie sull'Arena.

Conclusioni di oggi

Il bot casuale è quasi indistinguibile dal rumore: un attacco su cinque colpisce i propri, il ruolo non influisce su nulla.
Semplici regole del tipo «gioca per il tuo ruolo», basate solo sui fatti scoperti, quasi eliminano il fuoco amico e livellano le probabilità delle squadre.
Un'ipotesi per i modelli, non ancora verificata: contano non le regole delle carte, ma le deduzioni sui ruoli: chi attacca il Maresciallo è molto probabilmente un Predone.