TandemBench uji model keputusan untuk kolaborasi multiagen
TandemBench adalah tolok ukur baru berisi 1.200 pertanyaan untuk menilai kemampuan model kecerdasan buatan dalam mengambil keputusan koordinasi kerja tim multiagen.
Sebuah tim peneliti yang dipimpin Baohang Li memperkenalkan TandemBench, tolok ukur baru yang dirancang untuk mengevaluasi kemampuan model kecerdasan buatan dalam mengambil keputusan strategis pada konteks kolaborasi multiagen. Dalam sistem tempat beberapa agen bekerja sama mencapai satu tujuan bersama, sebuah keputusan tunggal menentukan bagaimana anggota tim membagi pekerjaan, bertukar sumber daya, dan melakukan tindakan secara paralel.
Tolok ukur ini menguji apakah model mampu memilih rencana tim yang optimal dari sekumpulan opsi yang diberikan, serta mengenali ketika pengaturan yang lebih baik sebenarnya ada namun tidak disertakan dalam pilihan tersebut. Temuan awal menunjukkan bahwa akurasi pemilihan rencana tim saja sering kali menyembunyikan kesalahan sistematis dalam penilaian optimalitas, menyoroti kebutuhan akan metrik evaluasi yang lebih komprehensif.
Pentingnya tolok ukur kolaborasi multiagen
Dalam tugas tradisional seperti perutean atau pemilihan tindakan tunggal, model biasanya memilih dari opsi yang sudah ditentukan sebelumnya. Namun, dinamika berubah saat beralih ke kolaborasi multiagen. Keputusan bukan hanya tentang apa yang dilakukan satu agen, tetapi bagaimana tindakan tersebut berinteraksi dengan anggota tim lainnya untuk menyelesaikan tujuan bersama.
Sebagai ilustrasi, makalah TandemBench menyajikan skenario memasak di mana seorang asisten bisa memberikan bahan makanan sebelum menyiapkan piring, memungkinkan koki memasak secara paralel. Sebaliknya, jika piring disiapkan terlebih dahulu, proses penyerahan bahan tertunda dan koki terpaksa menunggu. Menilai rencana tim dalam konteks ini memerlukan pemahaman tentang ketergantungan antartindakan dan kontribusi kolektif terhadap pencapaian tujuan akhir.
Tolak ukur yang ada sebelumnya umumnya berfokus pada akurasi individual, kalibrasi, atau ketahanan terhadap input yang diubah. Meskipun ada tolok ukur yang mengevaluasi pemilihan alat dalam alur kerja agen, sedikit sekali yang menangani keputusan yang menentukan rencana gabungan bagi banyak anggota tim. TandemBench mengisi celah ini dengan menjadikan rencana tim sebagai unit dasar pengambilan keputusan.
Metodologi pengujian melalui skenario memasak
TandemBench terdiri dari 1.200 pertanyaan yang berasal dari 200 skenario dalam 30 tugas resep menggunakan lingkungan simulasi Collab-Overcooked. Lingkungan ini dipilih karena memungkinkan variasi urutan tindakan dan pengalihan sumber daya yang secara signifikan memengaruhi hasil penyelesaian tugas, bahkan ketika sisa tindakan dioptimalkan.
Setiap pertanyaan menyediakan informasi global lengkap kepada model beserta kandidat berisi beberapa rencana tim yang layak. Untuk menetapkan jawaban referensi yang akurat, para peneliti menggunakan eksekusi simulasi dan pencarian eksak (exact search). Metode ini memastikan terdapat patokan objektif mengenai hasil terbaik yang dapat dicapai dari setiap keadaan awal.
Model diuji melalui dua metrik utama. Pertama adalah akurasi keputusan (Decision Accuracy/DA), yaitu kemampuan model untuk memilih rencana tim yang optimal dari kandidat yang tersedia. Kedua adalah akurasi verifikasi (Verification Accuracy/VA), yang mengukur kemampuan model dalam memverifikasi apakah rencana optimal benar-benar ada dalam kumpulan opsi atau justru hilang. Untuk membedakan antara laporan yang benar tentang adanya alternatif yang lebih baik dengan alarm palsu, penelitian ini menggunakan varian pengujian berpasangan di mana rencana optimal sengaja dipertahankan atau dihapus dari daftar pilihan.
Hasil evaluasi model spesialis dan umum
Evaluasi melibatkan 40 model keputusan asli (native) dan 10 model bahasa serbaguna (general-purpose). Hasil yang diterbitkan menunjukkan kesenjangan performa antara kedua kategori tersebut.
Di antara model asli, KnowLine-31B-Gen1 menempati peringkat teratas dengan akurasi keputusan sebesar 62,50%. Model-model asli lainnya menunjukkan kinerja yang bervariasi, dengan sebagian besar berada di kisaran 40 hingga 60 persen. Namun, kinerja mereka dalam verifikasi optimalitas tetap sangat rendah, mendekati tingkat tebakan acak (sekitar 50 persen). Hal ini mengindikasikan bahwa meskipun model asli cukup baik dalam memilih yang terbaik dari apa yang disajikan, mereka gagal secara konsisten dalam mendeteksi ketika solusi yang lebih baik tidak termasuk dalam pilihan.
Di sisi lain, model bahasa serbaguna menunjukkan pola yang berbeda. Qwen3.8-27B mencatatkan akurasi keputusan tertinggi di antara model umum dengan 82,80%, jauh melampaui model asli mana pun. Model ini juga menunjukkan akurasi verifikasi yang lebih tinggi dibandingkan rata-rata model asli, yakni 71,88%.
Keterbatasan dan implikasi
Penelitian ini mengakui bahwa format data yang dirilis merupakan set tes pilihan ganda tanpa adaptor layanan model atau kode evaluasi otomatis yang terintegrasi penuh. Makalah tidak merinci strategi pelatihan spesifik yang dapat menutup celah antara kemampuan memilih dan memverifikasi optimalitas.
Temuan kunci dari TandemBench adalah peringatan tentang bahaya mengandalkan satu metrik saja. Akurasi keputusan yang tinggi dapat menciptakan ilusi kompetensi, sementara kesalahan sistematis dalam menilai kelengkapan opsi tetap tidak terlihat. Bagi pengembang agen otonom, hal ini berarti penting untuk melatih model agar bisa menyadari batasan dari pilihan yang diberikan.
Dataset dan kode evaluasi TandemBench tersedia untuk publik di bawah lisensi CC BY 4.0, mendorong penggunaan ulang data dengan syarat atribusi yang jelas untuk mendukung ekosistem riset terbuka dalam bidang kecerdasan buatan.
#multi-agent#artificial-intelligence#benchmarking#machine-learning#collaboration#evaluation