Tolok ukur TraceTrial-Bench menguji keandalan harness agen AI, bukan hanya modelnya

Inti: yang diuji adalah perangkat di sekeliling model

Sebuah tim berisi 23 peneliti, dengan Zhiyong Cao sebagai penulis pertama, mengajukan tolok ukur (benchmark) bernama TraceTrial-Bench. Tolok ukur ini menilai keandalan harness agen AI, yaitu perangkat pendukung yang membungkus model bahasa besar (LLM) agar bisa bekerja sebagai agen. Contohnya pengelola konteks, pemanggil alat, dan pemeriksa hasil.

Makalah berjudul “Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution” ini diunggah ke arXiv pada 23 Oktober 2026 dengan nomor 2610.32285. Statusnya pracetak (preprint): naskah yang diunggah sebelum atau tanpa telaah sejawat. Temuannya belum diverifikasi penelaah independen, dan angka di bawah ini adalah klaim penulis menurut abstrak.

Konteks: mengapa harness penting

Menurut abstrak, agen LLM kian sering dipakai untuk menyelesaikan masalah dunia nyata. Efektivitasnya bergantung pada dua hal: model yang mendasarinya dan harness yang menopang operasinya. Penulis menilai kebanyakan tolok ukur yang ada berfokus pada kemampuan model dan kinerja agen secara keseluruhan. Evaluasi terhadap harness itu sendiri, menurut mereka, masih kurang mendapat perhatian.

Celah itulah yang hendak diisi. Secara sederhana, argumen ini dapat berarti dua agen yang memakai model sama bisa berperilaku berbeda karena harness-nya berbeda. Tanpa alat ukur khusus, perbedaan semacam itu sulit dipisahkan dari kemampuan model.

Detail: tujuh komponen dan 95 tugas

TraceTrial-Bench membagi keandalan harness ke dalam tujuh komponen: konteks, eksekusi, tata kelola (governance), siklus hidup (lifecycle), keteramatan (observability), alat, dan verifikasi. Penulis menyusun 95 tugas tingkat ahli yang berorientasi pada mekanisme. Setiap tugas memiliki kebenaran dasar (ground truth), yaitu jawaban acuan, yang dapat dieksekusi atau diperiksa dari keadaan sistem. Menurut abstrak, rancangan ini memungkinkan perbandingan yang setara secara makna tanpa menghilangkan perilaku asli tiap harness.

Sejumlah modul mendukung evaluasi. Modul Trajectory Tracing (TT) merekam jejak eksekusi agen. Kerangka evaluasi dua lapis menilai kinerja agen dan keandalan harness secara terpisah.

Modul Multi-source Evidence Acquisition (MEA) mengumpulkan bukti dari konteks agen, harness, dan lingkungan eksekusi untuk penilaian berbasis LLM. Adapun modul Failure Attribution (FA) memakai rantai mekanisme yang eksplisit untuk menelusuri penyebab kegagalan. Penelusuran ini dilakukan pada tingkat satu proses uji (run).

Temuan: skor harness dan sukses semu

Pengujian mencakup 4 harness, 9 model, dan 95 tugas, dengan total 3.420 proses uji. Skor harness rata-rata makro berkisar dari 59,8% hingga 72,0%. Abstrak tidak merinci harness atau model mana yang mencetak skor tertinggi dan terendah.

Temuan yang menonjol: 31,1% proses uji berhasil menyelesaikan tugas meski gagal pada setidaknya satu kriteria harness. Dengan kata lain, keberhasilan akhir tidak selalu menandakan perangkat pendukung bekerja baik. Implikasinya, menilai agen hanya dari hasil akhir berpotensi menyembunyikan cacat yang bisa muncul pada tugas lain. Kesimpulan ini merupakan penjelasan atas angka tersebut, bukan klaim yang dinyatakan penulis dalam abstrak.

Sudut kritis: apa yang belum diketahui

Bahan yang tersedia hanya halaman abstrak, bukan isi makalah penuh, sehingga banyak hal tidak dapat diperiksa. Belum diketahui harness apa saja yang diuji dan bagaimana tugas dipilih serta divalidasi oleh para ahli. Belum diketahui pula seberapa andal penilaian berbasis LLM dibanding penilaian manusia. Abstrak juga tidak memuat keterbatasan yang diakui penulis.

Ada beberapa catatan umum. Skor 59,8% hingga 72,0% bergantung pada rancangan tugas dan kriteria, sehingga tidak bisa dibaca sebagai peringkat mutlak kualitas harness. Penggunaan LLM sebagai penilai juga dikenal membawa risiko bias, meski penulis berupaya menopangnya dengan bukti multisumber. Klaim bahwa kerangka ini dapat diaudit dan direproduksi baru teruji bila pihak lain mencobanya.

Apa berikutnya

Penulis menyatakan TraceTrial-Bench dimaksudkan sebagai fondasi untuk membandingkan harness dan mendiagnosis kegagalannya. Tolok ukur ini juga ditujukan untuk mempelajari interaksi antara desain harness dan perilaku model. Langkah lanjutan yang lazim bagi pracetak adalah telaah sejawat dan replikasi oleh kelompok lain. Bahan yang ada tidak menunjukkan apakah kode dan data uji sudah dirilis untuk umum.

Gagasan memisahkan penilaian model dari penilaian perangkat pendukung relevan bagi pengembang di Indonesia yang membangun agen di atas model buatan pihak lain. Namun, sebagai pracetak yang belum ditelaah sejawat, hasil ini masih berupa usulan metodologi yang menunggu verifikasi independen.