SCHEMA lacak rambatan halusinasi agen AI dalam riset sains

Apa yang dimaksud halusinasi berantai

Halusinasi pada model bahasa berarti keluaran yang terdengar meyakinkan tetapi keliru. Makalah di arXiv ini memusatkan perhatian pada dampaknya ketika agen AI, yakni sistem berbasis model bahasa yang menjalankan tugas bertahap, dipakai untuk riset ilmiah. Menurut makalah, satu klaim keliru tentang konsep dasar bisa terbawa ke tahap penalaran berikutnya dan merusak seluruh lintasan kerja agen. Fenomena ini disebut cascade, atau rambatan berantai.

Pendekatan yang ditawarkan disebut sadar topologi. Artinya, fakta tidak diperiksa satu per satu seperti butir soal yang terpisah, melainkan dilihat sebagai jaringan konsep yang saling terhubung, dengan konsep tertentu menjadi simpul penting. Analogi sederhananya, kerusakan pada jembatan utama lebih berbahaya daripada kerusakan pada jalan kecil di pinggir kota.

Penulis menilai tolok ukur halusinasi yang ada sebagian besar bekerja di permukaan. Menurut mereka, tolok ukur itu memperlakukan fakta secara terpisah dan memakai metrik akurasi seragam yang mengabaikan struktur keterhubungan pengetahuan.

Cara kerangka dibangun

SCHEMA membangun graf konsep ilmiah secara otomatis dari benchmark awal dan bukti literatur. Dari graf itu, sistem menyusun tugas yang mencakup verifikasi klaim, penalaran multi-langkah, penjelasan terbuka, dan pembuatan kode eksperimen. Menurut pendahuluan makalah, benchmark yang dirilis berupa rangkaian uji biomedis yang mencakup dua subdomain dengan tingkat kompleksitas yang meningkat.

Evaluasi dilakukan dengan dua alat diagnosis yang saling melengkapi. Yang pertama adalah pipa audit halusinasi lintasan, yang memeriksa penalaran perantara dengan skor keparahan berbobot topologi, ditulis HS^w dalam notasi makalah. Yang kedua adalah modul atribusi kontrafaktual multi-agen, yang berupaya menunjuk mekanisme sebab di balik kegagalan terpilih.

Makalah ini setebal 40 halaman, dengan 7 gambar dan 5 tabel. Kodenya tersedia secara publik di GitHub.

Temuan utama menurut abstrak

Menurut abstrak, halusinasi terkonsentrasi pada sejumlah kecil simpul pengetahuan yang sangat terhubung. Temuan lain, akurasi jawaban akhir dapat terlepas dari kejujuran lintasan penalaran. Model kadang sampai pada kesimpulan benar melalui penalaran yang cacat secara struktur.

Dari sini penulis berargumen bahwa untuk aplikasi sains berisiko tinggi, akurasi terminal saja tidak cukup sebagai ukuran keandalan agen. Abstrak tidak melaporkan angka hasil spesifik, seperti skor atau persentase kesalahan, dan tidak menyebut model mana saja yang diuji.

Keterbatasan yang perlu dicatat

Makalah ini berstatus pracetak di arXiv dan belum ditelaah sejawat. Versi pertamanya diunggah pada 1 Agustus 2026, dan versi kedua pada 27 Oktober 2026.

Benchmark yang dirilis berfokus pada biomedis, dua subdomain saja. Makalah menggambarkan rancangannya sebagai lintas disiplin, tetapi klaim keberlakuan di bidang sains lain masih perlu diuji lebih lanjut.

Mengapa penting bagi riset ilmiah

Menurut makalah, agen AI makin banyak dipakai dalam riset ilmiah, tempat keandalan sangat penting dan pengetahuan saling terhubung rapat. Kesalahan yang tampak kecil bisa berubah menjadi hasil yang keliru jika tidak terdeteksi pada tahap perantara. Karena itu, evaluasi yang hanya menilai benar atau salah pada jawaban akhir berisiko melewatkan masalah tersebut.

Bagi peneliti dan kampus di Indonesia yang mulai memakai agen AI, logika pemeriksaan lintasan penalaran dapat dijadikan rujukan. Makalah ini tidak membahas konteks lokal, sehingga penerapannya perlu penyesuaian.

Pembaca yang ingin menelusuri metode dapat membuka makalah di arXiv beserta kode yang disediakan penulis.