Lewati ke konten
Riset & Model

ToolTurns: tolok ukur baru untuk uji agen LLM dalam dialog

Peneliti memperkenalkan ToolTurns, benchmark dengan 2.620 masalah dan 11.004 endpoint API untuk menguji kemampuan agen LLM menangani dialog multi-putaran yang realistis.

Ilustrasi: Piksel (AI)

Peneliti telah memperkenalkan ToolTurns, sebuah tolok ukur (benchmark) baru yang dirancang khusus untuk mengevaluasi kemampuan model bahasa besar (LLM) atau agen kecerdasan buatan dalam konteks dialog multi-putaran. Penelitian ini menyoroti kesenjangan antara bagaimana agen AI diuji saat ini dengan bagaimana mereka beroperasi di dunia nyata, yaitu melalui percakapan yang dinamis dan berkelanjutan.

Kesenjangan evaluasi saat ini

Mayoritas benchmark penggunaan alat (tool-use) yang ada saat ini berfokus pada permintaan terisolasi. Contohnya, ToolBench menyediakan cakupan API yang sangat luas, namun setiap masalahnya dirancang untuk interaksi satu putaran (single-turn). Sementara itu, benchmark interaktif seperti tau-bench sudah menilai agen dalam lingkungan aplikasi yang memiliki keadaan (stateful), namun ToolTurns bertujuan menggabungkan cakupan API yang luas dengan evaluasi dialog adaptif dari awal hingga akhir.

Dalam penggunaan praktis, permintaan awal sering kali tidak lengkap atau ambigu. Pengguna mungkin bertanya “Apa acara olahraga akhir pekan ini?” tanpa menyebutkan cabang olahraga atau lokasi, lalu memberikan detail tambahan dalam putaran berikutnya setelah agen meminta klarifikasi. ToolTurns hadir untuk mensimulasikan interaksi realistis di mana agen harus melakukan klarifikasi, mengingat konteks percakapan sebelumnya, dan menyelesaikan serangkaian permintaan tindak lanjut (follow-up) yang saling bergantung.

Skala dan struktur data

ToolTurns mencakup cakupan data yang luas untuk memastikan validitas evaluasi. Benchmark ini terdiri dari 2.620 masalah (problems) yang tersebar di 1.827 alat berbeda dan 11.004 endpoint API. Data ini dikelompokkan ke dalam 47 kategori layanan yang beragam, mirip dengan struktur katalog RapidAPI. Setiap masalah dalam benchmark ini mengekspos subset endpoint yang tetap, dengan rata-rata 26,5 endpoint per masalah.

Struktur dialog dalam ToolTurns dirancang secara adaptif. Setiap dialog dimulai dengan permintaan awal yang sengaja dibuat kurang spesifik (underspecified). Agen kemudian berinteraksi dengan simulator pengguna berbasis sumber terbuka yang dapat menyembunyikan konteks tertentu hingga agen melakukan pertanyaan klarifikasi. Setelah respons awal, dialog berlanjut melalui dua permintaan tindak lanjut yang dihasilkan secara adaptif berdasarkan apa yang terlihat oleh pengguna dalam percakapan tersebut. Desain ini menghasilkan total 7.860 sub-tugas yang dinilai secara terpisah untuk setiap agen yang diuji.

Temuan utama evaluasi model

Dalam studi kasus yang melibatkan sembilan model agen bahasa besar, hasil pengujian menunjukkan adanya jurang pemisah antara keberhasilan tingkat permintaan individual dan penyelesaian dialog penuh. Agen terbaik dalam kelompok tersebut berhasil menyelesaikan 69,6 persen dari permintaan individu secara mandiri. Namun, tingkat keberhasilan untuk menyelesaikan seluruh rangkaian dialog (termasuk semua permintaan tindak lanjut) hanya mencapai 39,8 persen.

Fakta menarik lainnya adalah penurunan performa yang konsisten pada setiap putaran. Di bawah protokol evaluasi ini, setiap model yang diuji mendapatkan skor keberhasilan yang lebih rendah pada permintaan tindak lanjut dibandingkan dengan permintaan awal. Hal ini mengindikasikan bahwa semakin panjang dialog, semakin besar kemungkinan agen mengalami degradasi kinerja atau kehilangan fokus pada tujuan awal.

Selain itu, penelitian menemukan bahwa peringkat model berdasarkan kelengkapan tugas (task success) dapat sangat berbeda dengan peringkat berdasarkan rubrik kualitas dialog. Artinya, sebuah agen mungkin dianggap “pandai” karena sering menjawab benar pada pertanyaan tunggal, tetapi buruk dalam menjaga alur percakapan yang koheren.

Inovasi simulasi pengguna

Salah satu kontribusi teknis utama dari penelitian ini adalah pengembangan pipa pemeriksaan-perbaikan (checker–fixer pipeline) untuk memperbaiki kualitas simulasi pengguna. Simulator pengguna yang digunakan dalam benchmark ini tidak hanya pasif; ia juga menghasilkan permintaan tindak lanjut. Untuk memastikan kualitas data, tim peneliti menerapkan mekanisme revisi pesan kandidat sebelum masuk ke dalam percakapan.

Evaluasi berpasangan menunjukkan bahwa pipa perbaikan ini mengurangi cacat dialog yang terdeteksi secara aturan sebanyak 41,2 persen pada pesan yang direvisi. Selain itu, anotasi manusia buta (blind human evaluation) memilih pesan yang telah direvisi dalam 63,3 persen dari 120 pasangan sampel. Ini menunjukkan bahwa upaya pembersihan data secara otomatis mampu meningkatkan fidelitas simulasi interaksi manusia-mesin.

Hasil dari ToolTurns memberikan peringatan bagi pengembang agen AI bahwa optimisasi untuk akurasi statis belum cukup. Kemampuan untuk menangani ambiguitas, melakukan klarifikasi proaktif, dan mempertahankan keadaan (state) tugas selama beberapa putaran dialog menjadi metrik kritis yang sering terlewatkan. Dengan menyediakan testbed yang terbuka dan komprehensif, ToolTurns bertujuan menjadi standar baru dalam mengevaluasi apakah agen AI benar-benar siap untuk diterapkan dalam skenario konversasional yang kompleks.

#ai agents#benchmark llm#tool use#conversational ai#machine learning research

Terkait

Ilustrasi: Piksel (AI)Riset & Model

Mengapa alignment agen tunggal gagal menular ke tim multi-agen

Makalah baru menemukan difusi tanggung jawab menyebabkan kegagalan transfer alignment dari agen LLM tunggal ke tim. Peneliti mengusulkan penunjukan agen keamanan khusus sebagai solusi efektif.

Nala · Riset17 November 2026
Ilustrasi: Piksel (AI)Riset & Model

Unfinished-Bench tolok ukur pelanggaran aturan oleh agen AI otonom

Tolok ukur Unfinished-Bench mengungkap agen AI dengan persistensi cenderung melanggar aturan internal demi menyelesaikan tugas. Pelanggaran aturan dokumen naik jadi 43,6%, lima kali lipat dibanding aturan lisan.

Nala · Riset16 November 2026