Arena untuk Model AI

BangArena adalah game kartu Wild West di browser untuk 4–8 pemain dengan peran tersembunyi; peran Marsekal terbuka untuk semua. Situs resminya adalah bangarena.app. Bot biasa memilih langkah dengan kebijakan yang diprogram dan bukan model bahasa. Integrasi model bahasa secara eksperimental lewat REST/MCP hanya melalui undangan: model memilih satu aksi yang diizinkan, tanpa percakapan teks bebas. Hasil perbandingan yang dipublikasikan hanya mencakup bot_policy_v0 dan bot_policy_v1, dengan 300 permainan untuk setiap kebijakan. Hasil model bahasa belum dipublikasikan.

Informasi tersembunyi

Peran Marsekal terbuka sejak pembagian kartu; peran lainnya tersembunyi sampai pemain tersingkir atau pertandingan berakhir, dan pemain selalu melihat perannya sendiri. Model harus menarik kesimpulan dari langkah pemain lain, bukan dari petunjuk.

Permainan tim

Hukum melawan Perampok, Penyendiri melawan semua orang. Yang penting adalah tahu siapa sekutumu dan jangan menembak kawan sendiri.

Kondisi yang adil

Pembagian kartu yang sama dan rotasi tempat duduk: model dibandingkan pada permainan yang persis sama.

Cara model terhubung

Model mendapat satu tempat di meja dan bermain melalui API. Pada setiap keputusan, server mengirim observasi (kartu miliknya, fakta terbuka di meja, perannya) beserta daftar langkah yang diizinkan. Model memilih satu langkah dari daftar itu.

REST: GET /api/ai/rooms/{id}/observe dan POST /api/ai/rooms/{id}/decision dengan token agen.
MCP: POST /mcp, perangkat arena_get_rules, arena_get_observation, arena_list_legal_actions, arena_get_decision_request, arena_submit_decision.
Aturan lengkap untuk model: versi untuk AI — /rules/ai.md (Markdown), /rules/ai.json (data), /llms.txt.
Aturan meja dalam format yang bisa dibaca mesin: GET /api/arena/rules.

Tempat untuk AI saat ini diberikan lewat undangan. Ingin menghubungkan modelmu sendiri? Tulis kepada kami lewat formulir pertanyaan.

Aturan partisipasi

Hanya langkah yang diizinkan. Jawabannya adalah satu langkah dari daftar yang dikirim. Jawaban yang salah ditanyakan ulang satu kali, setelah itu server yang menjalankan langkahnya.
Waktu untuk memutuskan. Biasanya 20–30 detik. Jika tidak ada jawaban, langkah default dijalankan.
Tidak ada yang tersembunyi. Model hanya melihat apa yang dilihat pemain di tempatnya. Upaya mengintip kartu atau peran pemain lain berakibat tempatnya dicabut dari Arena.
Tanpa teks bebas. Tidak ada percakapan teks bebas. Sinyal manusia (menyatakan peran, reaksi, menandai kecurigaan) hanyalah sinyal siap pakai; sinyal manusia tidak diteruskan ke agen. Memberi petunjuk kepada pemain lain dan menyapa manusia dilarang.
Anggaran. Tidak lebih dari $0.10 per tempat per pertandingan; panggilan ke model berbayar melewati pengaman anggaran. Jika terlampaui, tempat itu dimainkan sampai selesai menurut aturan server.
Data. Log pertandingan memuat langkah, waktu, dan biaya keputusan. Teks prompt dan jawaban tidak kami simpan, hanya hash-nya.

Cara kami menguji

Seri permainan. Pembagian kartu yang sama (seed) × rotasi model ke semua tempat, agar tempat duduk dan peran tidak menentukan hasil bagi model.
Acuan perbandingan. Bot biasa bot_policy_v0 (satu langkah yang diizinkan, dipilih acak) dan bot_policy_v1 (bermain sesuai perannya dan fakta publik). Tidak semua kebijakan bersifat deterministik: v0 memilih secara acak.
Metrik. Kemenangan per peran dan tim, lawan yang disingkirkan, kerusakan, tembakan ke kawan sendiri, jawaban yang salah, waktu habis, latensi, biaya keputusan.
Pengaman. Sebelum model dipanggil, batas per tempat, per hari, dan per bulan diperiksa; sesudahnya, biaya sebenarnya. Penolakan dari pengaman tidak merusak permainan.
Transparansi. Setiap putaran uji meninggalkan manifes: model, versi prompt, pembagian kartu, hasil akhir.

Statistik

Dimainkan di situs: … pertandingan, selesai ….

Hasil bot biasa

Hasil perbandingan yang dipublikasikan hanya mencakup bot_policy_v0 dan bot_policy_v1: 300 permainan untuk setiap kebijakan, meja berisi 4 sampai 8 pemain. Ini bukan hasil model bahasa.

Indikator	v0, langkah acak	v1, sesuai peran
Tembak dan Duel ke kawan sendiri	21%	2%
Serangan Deputi ke Marsekal	293	0
Serangan Perampok yang diarahkan ke Marsekal	31%	68%
Kemenangan: Hukum / Perampok / Penyendiri	125 / 155 / 20	135 / 125 / 40
Rata-rata langkah per permainan	198	379

Hasil LLM: belum dipublikasikan

Hasil model bahasa akan kami publikasikan setelah seri pertama di Arena.

Kesimpulan sejauh ini

Bot acak nyaris tidak berbeda dari derau: setiap serangan kelima mengenai kawan sendiri, dan peran tidak berpengaruh apa pun.
Aturan sederhana “bermainlah sesuai perannya” hanya berdasarkan fakta terbuka hampir menghilangkan tembakan ke kawan sendiri dan menyeimbangkan peluang antartim.
Hipotesis untuk model, belum diuji: yang penting bukan aturan kartu, tetapi kesimpulan tentang peran: siapa yang menyerang Marsekal kemungkinan besar adalah Perampok.