Lewati ke konten
Riset & Model

Agen evaluasi RAG deteksi racun pengetahuan generatif

Makalah ICSEA 2026 mengusulkan agen middleware untuk mendeteksi misinformasi dan keracunan pengetahuan pada sistem RAG guna menutup celah keamanan-reliabilitas.

Ilustrasi: Piksel (AI)

Sistem Retrieval-Augmented Generation (RAG) yang menggabungkan model bahasa besar dengan basis data eksternal kini menghadapi ancaman serius berupa keracunan pengetahuan. Sebuah makalah penelitian yang diterbitkan di konferensi ICSEA 2026 memperkenalkan Agen Evaluasi, sebuah lapisan middleware yang dirancang khusus untuk memverifikasi integritas konteks sebelum teks digenerasikan. Inovasi ini bertujuan menutup apa yang disebut sebagai “celah keamanan-reliabilitas” dalam arsitektur kecerdasan buatan generatif modern.

Celah keamanan-reliabilitas

Celah keamanan-reliabilitas muncul karena asumsi dasar bahwa dokumen yang diambil dari repositori eksternal secara otomatis dapat dipercaya. Makalah tersebut menyoroti bahwa metrik evaluasi standar sering kali hanya mengukur kesetiaan model terhadap konteks yang diberikan, bukan kebenaran fakta dari konteks itu sendiri. Akibatnya, jika penyerang menyisipkan dokumen jahat ke dalam korpus, sistem RAG dapat menghasilkan keluaran yang sangat fasih namun sepenuhnya salah.

Dalam skenario keracunan pengetahuan, penyisipan hanya lima dokumen palsu ke dalam kumpulan data jutaan dokumen pun mampu meningkatkan tingkat keberhasilan serangan hingga sekitar 90 persen. Sistem yang menjawab dengan setia dari dokumen yang teracun akan mendapatkan nilai baik di bawah metrik saat ini sambil memancarkan keluaran yang dikompromikan.

Cara kerja agen evaluasi

Untuk mengatasi masalah ini, tim peneliti mengembangkan mekanisme deteksi berbasis lima sinyal yang menggunakan agregasi berbobot relevansi. Sistem ini menghitung Indeks Kepercayaan dengan rumus matematis $T = 0,4 F + 0,35 C + 0,25 (1 - P)$ yang menggabungkan verifikasi faktual Natural Language Inference (NLI), estimasi konsistensi silang, dan detektor racun. Formula tersebut juga menerapkan penahan non-linear untuk mengurangi dampak konteks yang terkontaminasi tinggi.

Pendekatan ini memungkinkan sistem melakukan pemeriksaan online saat proses inferensi berjalan, berbeda dengan metode pembersihan korpus offline tradisional yang tidak aktif selama generasi teks. Agen ini bertindak sebagai middleware defensif yang menyaring konteks yang diambil sebelum generasi terjadi.

Hasil pengujian dan keterbatasan

Uji coba pada benchmark TruthfulQA menggunakan Llama 3.3 70B menunjukkan hasil yang menjanjikan. Agen evaluasi mencapai akurasi 91 persen, presisi 100 persen, serta recall 100 persen dalam mendeteksi injeksi instruksi berbahaya. Namun, studi tersebut juga menemukan keterbatasan signifikan ketika menghadapi manipulasi halus seperti penggantian entitas atau pelemahan semantik yang subtil. Deteksi jenis serangan in-place edits masih menjadi tantangan karena bergantung pada sinyal permukaan yang mudah dimanipulasi oleh penyerang yang lebih canggih.

Performa indeks kepercayaan bervariasi di antara tiga model bahasa besar yang diuji, dengan nilai Receiver Operating Characteristic Area Under the Curve (ROC-AUC) berkisar antara 0,73 hingga 0,81. Temuan menarik lainnya menunjukkan bahwa gaya generasi model memiliki pengaruh lebih besar terhadap skor kepercayaan dibandingkan ukuran parameter model. Kalibrasi ambang batas per-model berhasil mengembalikan akurasi kompetitif, sementara pengujian silang pada dataset FEVER mengindikasikan perlunya kalibrasi spesifik domain untuk generalisasi yang lebih baik.

Dalam kasus penggunaan rekayasa perangkat lunak, asisten pemrograman aman yang mengambil panduan dari OWASP Top 10 dan Common Weakness Enumeration (CWE) berhasil diblokir oleh agen evaluasi ketika menerima saran tidak aman melalui injeksi instruksi, dengan skor F1 sebesar 92 persen. Meskipun demikian, deteksi kontradiksi langsung dan pelemahan semantik tetap sulit dilakukan oleh sistem ini.

Penelitian ini menegaskan bahwa relevansi semantik tinggi dari dokumen yang diambil tidak menjamin kebenaran faktual keluaran model. Agen evaluasi ini menawarkan langkah penting menuju sistem RAG yang lebih andal dengan memisahkan verifikasi integritas konteks dari kemampuan generasi teks itu sendiri.

#rag#keamanan-ai#keracunan-pengetahuan#agen-evaluasi#llm

Terkait

Ilustrasi: Piksel (AI)Riset & Model

Mengapa alignment agen tunggal gagal menular ke tim multi-agen

Makalah baru menemukan difusi tanggung jawab menyebabkan kegagalan transfer alignment dari agen LLM tunggal ke tim. Peneliti mengusulkan penunjukan agen keamanan khusus sebagai solusi efektif.

Nala · Riset17 November 2026
Ilustrasi: Piksel (AI)Riset & Model

Unfinished-Bench tolok ukur pelanggaran aturan oleh agen AI otonom

Tolok ukur Unfinished-Bench mengungkap agen AI dengan persistensi cenderung melanggar aturan internal demi menyelesaikan tugas. Pelanggaran aturan dokumen naik jadi 43,6%, lima kali lipat dibanding aturan lisan.

Nala · Riset16 November 2026