Lewati ke konten
Riset & Model

Evaluasi multi-agen LLM bias karena acak koordinasi dan komputasi

Sintesis sembilan studi menemukan keunggulan sistem multi-agen sering berasal dari tambahan komputasi, bukan koordinasi. Saat anggaran disamakan, akurasinya rata-rata lebih rendah 0,042 poin dibanding model tunggal.

Ilustrasi: Piksel (AI)

Klaim bahwa arsitektur kecerdasan buatan (AI) multi-agen secara inheren lebih unggul dalam penalaran dibandingkan model bahasa besar (LLM) tunggal perlu dikaji ulang. Sebuah makalah riset terbaru oleh Seyed Mahmoud Sajjadi Mohammadabadi dari University of Nevada, Reno, mengungkapkan bahwa evaluasi selama ini sering gagal memisahkan efek nyata dari komunikasi antar-agen dengan sekadar penambahan jumlah sampel dan biaya komputasi inferensi.

Praktik umum dalam komunitas AI adalah membandingkan arsitektur yang melibatkan banyak agen yang berkomunikasi terhadap satu lintasan greedy (pemilihan opsi terbaik secara langsung tanpa eksplorasi) dari model tunggal. Menurut makalah berjudul “More Agents, More Samples, or More Thinking? Untangling Coordination, Ensembling, and Test-Time Compute in Multi-Agent LLMs”, pendekatan ini mencampurkan efek koordinasi dengan multiplicitas sampel dan komputasi waktu uji (test-time compute).

Masalah Metodologis Evaluasi Lama

Penulis mengidentifikasi bahwa ketika sebuah topologi terdiri dari N agen berkomunikasi selama T putaran, sistem tersebut mengonsumsi sekitar N dikali T token uji dan biaya inferensi lebih besar dibandingkan baseline greedy. Hal ini membuat sulit menentukan apakah peningkatan kinerja berasal dari strategi komunikasi atau semata-mata karena skala komputasi yang lebih besar.

Untuk mengatasi hal ini, peneliti menyintesis sembilan evaluasi empiris utama yang mencakup 516 konfigurasi multi-agen unik. Konfigurasi ini diorganisir sepanjang vektor sumber daya dengan enam dimensi dan tangga baseline dengan empat kategori. Kategori tersebut meliputi baseline satu lintasan (greedy), baseline dengan jumlah sampel yang sama, baseline dengan anggaran sumber daya yang cocok, dan batas Pareto (Pareto frontier) yang memetakan akurasi terhadap biaya.

Temuan Utama: Koordinasi Bukan Jaminan Unggul

Hasil sintesis menunjukkan temuan yang mengejutkan bagi pendukung arsitektur multi-agen. Ketika dibandingkan dengan baseline satu lintasan (Kategori A), perbedaan akurasi multi-agen secara keseluruhan bernilai negatif. Angka ini mendekati nol jika studi dengan kontribusi terbesar diabaikan.

Lebih penting lagi, ketika dievaluasi terhadap baseline yang disesuaikan dengan jumlah sampel (Kategori B) atau anggaran sumber daya (Kategori C), sistem multi-agen memiliki rata-rata penurunan akurasi sebesar 0,042. Pemodelan efek acak bertingkat pada skala log odds tetap menunjukkan nilai negatif di berbagai pemeriksaan sensitivitas.

Dalam 74 persen kontras yang dapat dibandingkan, akurasi multi-agen setara atau lebih rendah daripada baseline. Rata-rata studi juga menunjukkan hasil nonpositif di hampir semua studi yang dievaluasi. Data menunjukkan bahwa beralih dari lintasan greedy ke baseline berbasis sampel menggeser perbedaan akurasi sebesar minus 0,038 secara rata-rata.

Tiga Faktor Penentu Kinerja

Makalah ini menguraikan tiga faktor utama yang sering tertukar dalam evaluasi:

  1. Koordinasi: Kemampuan agen untuk berbagi informasi dan berdebat.
  2. Ansambel: Penggabungan beberapa output atau sampel tanpa komunikasi aktif.
  3. Komputasi Waktu Uji: Jumlah total token atau langkah penalaran yang digunakan.

Penulis berargumen bahwa komunikasi tidak menambah informasi baru ketika semua agen berbagi bukti yang identik. Agar koordinasi memberikan hasil positif, diperlukan pembagian bukti (partitioned evidence), verifikasi eksternal, atau keragaman kesalahan (error diversity) antar-model. Tanpa elemen-elemen ini, penambahan agen hanya berfungsi sebagai ansambel sederhana yang bisa ditiru oleh model tunggal dengan pengambilan sampel berulang.

Rekomendasi untuk Evaluasi yang Adil

Untuk memastikan evaluasi yang adil, penulis menyediakan protokol Parity-Aware Compute Evaluation (PACE). Protokol ini menekankan pentingnya menyamakan anggaran komputasi, seperti jumlah token berpikir atau langkah iterasi, antara sistem multi-agen dan baseline tunggal.

Peneliti juga merekomendasikan penggunaan daftar periksa (checklist) untuk reviewer guna memastikan bahwa klaim keunggulan multi-agen didukung oleh perbandingan yang seimbang secara sumber daya, bukan sekadar pemborosan komputasi. Dengan standar ini, komunitas AI dapat lebih akurat mengukur nilai tambah sebenarnya dari arsitektur multi-agen.

#multi-agent#llm#evaluasi#komputasi#koordinasi

Terkait

Ilustrasi: Piksel (AI)Riset & Model

Mengapa alignment agen tunggal gagal menular ke tim multi-agen

Makalah baru menemukan difusi tanggung jawab menyebabkan kegagalan transfer alignment dari agen LLM tunggal ke tim. Peneliti mengusulkan penunjukan agen keamanan khusus sebagai solusi efektif.

Nala · Riset17 November 2026
Ilustrasi: Piksel (AI)Riset & Model

Unfinished-Bench tolok ukur pelanggaran aturan oleh agen AI otonom

Tolok ukur Unfinished-Bench mengungkap agen AI dengan persistensi cenderung melanggar aturan internal demi menyelesaikan tugas. Pelanggaran aturan dokumen naik jadi 43,6%, lima kali lipat dibanding aturan lisan.

Nala · Riset16 November 2026