Lewati ke konten
Riset & Model

DialFork ukur halusinasi prosedural agen percakapan, bukan sekadar salah fakta

Tolok ukur DialFork menguji apakah agen percakapan mengikuti alur prosedur, bukan hanya benar isinya, lewat 36.278 dialog dalam 24 tugas dan 12 domain.

Ilustrasi: Piksel (AI)

Sergio Burdisso dan enam penulis lain memperkenalkan DialFork, tolok ukur (benchmark) untuk mengukur halusinasi prosedural pada agen percakapan berbasis model bahasa besar. Menurut makalah di arXiv, kegagalan jenis ini terjadi ketika agen menghasilkan tuturan yang lancar dan masuk akal secara faktual, tetapi menyimpang dari proses percakapan yang seharusnya dijalankan. Makalah ini berstatus pracetak (preprint): menurut riwayat pengajuan di arXiv, versi pertama diunggah pada 15 Oktober 2026 dan versi kelima pada 30 Oktober 2026.

Beda halusinasi prosedural dan faktual

Halusinasi faktual berkaitan dengan isi yang salah, seperti tanggal keliru, angka tidak tepat, atau detail produk yang dikarang. Halusinasi prosedural berkaitan dengan proses: agen melewati langkah wajib, mengejar tujuan lain, atau mengulang tindakan yang sudah selesai. Para penulis menyebut kegagalan ini ortogonal terhadap kebenaran faktual, sebab tak satu pun tuturan perlu salah agar percakapan secara keseluruhan keliru.

Contoh dalam repositori kode DialFork menggambarkannya. Agen yang diminta mengecek prakiraan cuaca justru menanyakan penilaian layanan kepada pengguna, lalu mengajukan pertanyaan survei lain. Setiap giliran bicara sopan dan tidak ada yang keliru, tetapi pengguna tak pernah mendapat jawaban. Menurut para penulis, uji halusinasi standar tidak menangkap kasus seperti ini karena menilai kebenaran isi, bukan proses percakapan.

Cara kerja DialFork

DialFork dibangun dengan teknik fork. Percakapan yang sepenuhnya sesuai prosedur diputar ulang dengan seed acak yang sama, lalu tepat sebelum satu giliran asisten disisipkan instruksi baru yang membelokkan arah percakapan. Menurut repositori, setiap dialog sesuai prosedur di-fork empat kali pada titik berjarak merata. Fork yang lebih awal menyimpang lebih jauh, sehingga urutan tingkat penyimpangan tersedia tanpa anotasi manual.

Makalah mendefinisikan empat tipe penyimpangan. Tipe WIC (Workflow Identity Corruption) membuat agen mengikuti alur yang sah tetapi keliru, misalnya menangani peringatan cuaca alih-alih prakiraan. Tipe SSPC mengganggu urutan langkah dengan mengulang, melompati, atau menata ulang langkah. Tipe GR membuat agen mengejar tujuan berbeda, sedangkan tipe CSC menambahkan tujuan yang bersaing sementara alur kerja tetap utuh. Repositori para penulis menyebut CSC sebagai tipe tersulit bagi semua metode yang mereka coba.

Dataset berisi 2.134 dialog sesuai prosedur dan 34.144 hasil fork, yakni 16 untuk setiap dialog asal. Totalnya 36.278 dialog berbahasa Inggris dalam 24 tugas dan 12 domain, dari cuaca dan trivia hingga laporan penipuan bank dan janji dokter. Menurut makalah, 30 anotator manusia memvalidasi konstruksi dataset. Dialog dihasilkan oleh pipeline multi-agen yang dikendalikan seed, sehingga bersifat sintetis.

Tiga tugas dan dua metrik

DialFork menawarkan tiga tugas evaluasi pada tingkat granularitas berbeda. Tugas pertama mengukur seberapa jauh sekumpulan dialog menyimpang dari dialog sesuai prosedur, misalnya untuk memantau agen yang sudah beroperasi. Tugas kedua mengukur penyimpangan satu dialog, berguna untuk pencarian percakapan berpola serupa (procedural retrieval). Tugas ketiga memprediksi giliran tempat percakapan pertama kali melenceng, relevan untuk pagar pengaman (guardrail) waktu nyata.

Untuk dua tugas pertama, makalah mengusulkan metrik berbasis alur dialog, FlowKL dan FlowScore, yang membandingkan bagaimana percakapan berkembang, bukan isinya. Menurut repositori, tugas pertama dan kedua dinilai dengan koefisien Kendall’s tau terhadap urutan fork. Tugas ketiga dinilai dari kedekatan prediksi dengan giliran fork dan seberapa jarang sistem memberi peringatan palsu.

Temuan utama

Pada tingkat dialog, abstrak melaporkan bahwa FlowScore secara signifikan mengungguli semua pembanding (baseline) pada tujuh encoder. Para penulis menyimpulkan bahwa kemiripan semantik tidak dapat menggantikan kemiripan prosedural. Abstrak tidak menyebut nama model bahasa yang diuji maupun skor numerik per metrik dan per encoder, sehingga besaran keunggulan tidak dapat dipastikan dari ringkasan itu.

Relevansi bagi layanan publik dan perbankan

Makalah menyebut layanan pelanggan, penjadwalan, pemandu pemecahan masalah, dan penerimaan pasien klinik sebagai contoh peran agen yang diharapkan mengikuti logika prosedural. Dataset juga mencakup skenario seperti laporan penipuan bank. Secara logis, chatbot perbankan atau layanan pemerintah yang bekerja mengikuti prosedur baku berisiko terdengar benar di setiap kalimat tetapi gagal menuntaskan prosedur. Pemeriksaan kualitas pada layanan semacam itu karenanya perlu menilai alur percakapan utuh, bukan hanya kebenaran tiap jawaban. Ini kesimpulan dari definisi para penulis, bukan temuan yang diuji dalam makalah.

Keterbatasan dan langkah berikutnya

Makalah ini masih berstatus pracetak di arXiv, sehingga belum tentu telah melalui tinjauan sejawat formal. Dataset bersifat sintetis dan berbahasa Inggris, dan makalah tidak menguji generalisasinya ke percakapan nyata maupun ke bahasa Indonesia. Empat tipe penyimpangan juga merupakan pilihan desain para penulis, sehingga penerapannya pada kasus di luar dataset memerlukan pengujian lanjutan.

Para penulis merilis DialFork dengan lisensi terbuka dan berharap komunitas mengukur proses percakapan di samping isinya. Repositori memuat dataset, pipeline generasi, kode evaluasi, dan alat anotasi, serta panduan meregenerasi DialFork dengan model bahasa atau korpus lain. Dataset juga tersedia di Hugging Face dan arsip Idiap Research Institute dengan DOI 10.34777/weqb-h267.

#halusinasi prosedural#agen percakapan#evaluasi model#chatbot#benchmark

Terkait

Ilustrasi: Piksel (AI)Riset & Model

Mengapa alignment agen tunggal gagal menular ke tim multi-agen

Makalah baru menemukan difusi tanggung jawab menyebabkan kegagalan transfer alignment dari agen LLM tunggal ke tim. Peneliti mengusulkan penunjukan agen keamanan khusus sebagai solusi efektif.

Nala · Riset17 November 2026
Ilustrasi: Piksel (AI)Riset & Model

Unfinished-Bench tolok ukur pelanggaran aturan oleh agen AI otonom

Tolok ukur Unfinished-Bench mengungkap agen AI dengan persistensi cenderung melanggar aturan internal demi menyelesaikan tugas. Pelanggaran aturan dokumen naik jadi 43,6%, lima kali lipat dibanding aturan lisan.

Nala · Riset16 November 2026