Agen evaluasi RAG deteksi racun pengetahuan generatif
Makalah ICSEA 2026 mengusulkan agen middleware untuk mendeteksi misinformasi dan keracunan pengetahuan pada sistem RAG guna menutup celah keamanan-reliabilitas.
Sistem Retrieval-Augmented Generation (RAG) yang menggabungkan model bahasa besar dengan basis data eksternal kini menghadapi ancaman serius berupa keracunan pengetahuan. Sebuah makalah penelitian yang diterbitkan di konferensi ICSEA 2026 memperkenalkan Agen Evaluasi, sebuah lapisan middleware yang dirancang khusus untuk memverifikasi integritas konteks sebelum teks digenerasikan. Inovasi ini bertujuan menutup apa yang disebut sebagai “celah keamanan-reliabilitas” dalam arsitektur kecerdasan buatan generatif modern.
Celah keamanan-reliabilitas
Celah keamanan-reliabilitas muncul karena asumsi dasar bahwa dokumen yang diambil dari repositori eksternal secara otomatis dapat dipercaya. Makalah tersebut menyoroti bahwa metrik evaluasi standar sering kali hanya mengukur kesetiaan model terhadap konteks yang diberikan, bukan kebenaran fakta dari konteks itu sendiri. Akibatnya, jika penyerang menyisipkan dokumen jahat ke dalam korpus, sistem RAG dapat menghasilkan keluaran yang sangat fasih namun sepenuhnya salah.
Dalam skenario keracunan pengetahuan, penyisipan hanya lima dokumen palsu ke dalam kumpulan data jutaan dokumen pun mampu meningkatkan tingkat keberhasilan serangan hingga sekitar 90 persen. Sistem yang menjawab dengan setia dari dokumen yang teracun akan mendapatkan nilai baik di bawah metrik saat ini sambil memancarkan keluaran yang dikompromikan.
Cara kerja agen evaluasi
Untuk mengatasi masalah ini, tim peneliti mengembangkan mekanisme deteksi berbasis lima sinyal yang menggunakan agregasi berbobot relevansi. Sistem ini menghitung Indeks Kepercayaan dengan rumus matematis $T = 0,4 F + 0,35 C + 0,25 (1 - P)$ yang menggabungkan verifikasi faktual Natural Language Inference (NLI), estimasi konsistensi silang, dan detektor racun. Formula tersebut juga menerapkan penahan non-linear untuk mengurangi dampak konteks yang terkontaminasi tinggi.
Pendekatan ini memungkinkan sistem melakukan pemeriksaan online saat proses inferensi berjalan, berbeda dengan metode pembersihan korpus offline tradisional yang tidak aktif selama generasi teks. Agen ini bertindak sebagai middleware defensif yang menyaring konteks yang diambil sebelum generasi terjadi.
Hasil pengujian dan keterbatasan
Uji coba pada benchmark TruthfulQA menggunakan Llama 3.3 70B menunjukkan hasil yang menjanjikan. Agen evaluasi mencapai akurasi 91 persen, presisi 100 persen, serta recall 100 persen dalam mendeteksi injeksi instruksi berbahaya. Namun, studi tersebut juga menemukan keterbatasan signifikan ketika menghadapi manipulasi halus seperti penggantian entitas atau pelemahan semantik yang subtil. Deteksi jenis serangan in-place edits masih menjadi tantangan karena bergantung pada sinyal permukaan yang mudah dimanipulasi oleh penyerang yang lebih canggih.
Performa indeks kepercayaan bervariasi di antara tiga model bahasa besar yang diuji, dengan nilai Receiver Operating Characteristic Area Under the Curve (ROC-AUC) berkisar antara 0,73 hingga 0,81. Temuan menarik lainnya menunjukkan bahwa gaya generasi model memiliki pengaruh lebih besar terhadap skor kepercayaan dibandingkan ukuran parameter model. Kalibrasi ambang batas per-model berhasil mengembalikan akurasi kompetitif, sementara pengujian silang pada dataset FEVER mengindikasikan perlunya kalibrasi spesifik domain untuk generalisasi yang lebih baik.
Dalam kasus penggunaan rekayasa perangkat lunak, asisten pemrograman aman yang mengambil panduan dari OWASP Top 10 dan Common Weakness Enumeration (CWE) berhasil diblokir oleh agen evaluasi ketika menerima saran tidak aman melalui injeksi instruksi, dengan skor F1 sebesar 92 persen. Meskipun demikian, deteksi kontradiksi langsung dan pelemahan semantik tetap sulit dilakukan oleh sistem ini.
Penelitian ini menegaskan bahwa relevansi semantik tinggi dari dokumen yang diambil tidak menjamin kebenaran faktual keluaran model. Agen evaluasi ini menawarkan langkah penting menuju sistem RAG yang lebih andal dengan memisahkan verifikasi integritas konteks dari kemampuan generasi teks itu sendiri.