Soteria: verifikasi formal dan runtime enforcement untuk agen LLM aman
Makalah baru memperkenalkan Soteria, kerangka kerja yang menggabungkan perencanaan terverifikasi formal dengan penegakan kebijakan saat runtime agar agen LLM menyelesaikan tugas secara aman tanpa mengorbankan utilitas.
Tim peneliti telah mengajukan makalah berjudul “Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM Agents” ke arXiv pada 13 November 2026. Makalah ini diterima sebagai presentasi lisan (oral) di konferensi NeurIPS 2026. Penelitian ini menawarkan solusi teknis terhadap dilema klasik dalam pengembangan agen berbasis Large Language Model (LLM): ketegangan antara utilitas dan keselamatan.
Agen LLM modern sering kali harus menjalankan serangkaian panggilan alat (tool calls) bertahap untuk menyelesaikan tugas kompleks. Namun, dua tujuan ini sering kali saling bertentangan. Memblokir tindakan yang tidak aman dapat mencegah pelanggaran, tetapi juga dapat membuat agen terhenti tanpa memiliki cara yang prinsipil untuk pulih atau melanjutkan tugas. Pendekatan yang ada biasanya mengorbankan salah satu tujuan demi yang lain. Soteria hadir sebagai kerangka kerja yang berupaya mendamaikan kedua aspek tersebut melalui verifikasi hierarkis dan penegakan spesifikasi saat runtime.
Mengatasi ketegangan utilitas dan keselamatan
Dalam lingkungan di mana efek dunia nyata sulit dibalik, seperti dalam rekayasa perangkat lunak, penemuan ilmiah, atau layanan pelanggan, kepatuhan terhadap kebijakan domain bukan sekadar pilihan. Misalnya, agen maskapai penerbangan yang membatalkan reservasi tanpa memverifikasi kelayakan penumpang akan melanggar spesifikasi kebijakan. Demikian pula, agen ritel yang memproses pengembalian barang tanpa mengambil detail pesanan terlebih dahulu dapat melanggar spesifikasi aliran data alat.
Pendekatan yang ada umumnya mengandalkan guardrails berbasis runtime. Metode pertama menggunakan model sekunder untuk menilai setiap aksi yang diusulkan sebelum eksekusi. Meskipun mudah diterapkan, metode ini bersifat probabilistik dan tidak memberikan jaminan keselamatan formal. Metode kedua menggunakan pemantau berbasis spesifikasi yang memeriksa pra-kondisi, pasca-kondisi, atau invarian lintasan. Meskipun memberikan jaminan lebih kuat, pendekatan ini sering kali tidak menyediakan rencana pemulihan yang terverifikasi ketika sebuah panggilan diblokir, sehingga dapat menurunkan utilitas jika agen terjebak dalam keadaan non-recoverable.
Insight kunci dari tim peneliti adalah bahwa agen dapat mencapai keselamatan tanpa mengorbankan utilitas dengan menyusun rencana yang terverifikasi secara spesifikasi sebelumnya, sebelum alat apa pun dipanggil. Rencana ini kemudian berfungsi ganda selama eksekusi: memastikan agen mengambil lintasan yang sesuai spesifikasi dan memberikan panduan saat tindakan tidak aman diblokir.
Arsitektur Soteria
Soteria menggabungkan perencanaan hierarkis yang terverifikasi dengan penegakan spesifikasi saat runtime. Prosesnya dimulai dengan pengaturan satu kali di mana dokumen kebijakan bahasa alami dan definisi alat digunakan untuk menghasilkan spesifikasi kebijakan, kontrak alat, dan sub-rencana yang menggambarkan prosedur standar di domain tersebut. Spesifikasi dan kontrak ini dihasilkan dengan bantuan LLM, lalu divalidasi secara manual oleh manusia.
Saat menerima tugas, Perencana Soteria menyusun rencana hierarkis dari perpustakaan sub-rencana yang dapat digunakan kembali dan telah diverifikasi sebelumnya. Verifikasi rencana mencakup pemeriksaan kontrak alat (setiap panggilan memenuhi pra-kondisinya), kemajuan (rencana tidak dapat macet), dan kepatuhan kebijakan (setiap eksekusi sesuai dengan aturan kebijakan). Jika pemeriksaan gagal, sistem memberikan diagnostik yang ditargetkan untuk mendorong perencana memperbaiki dan memverifikasi ulang dalam batas waktu retry yang tetap. Jika verifikasi penuh tidak tercapai, Soteria melanjutkan dengan rencana sebagian terverifikasi terkuat sebagai cadangan.
Untuk menjamin kepatuhan terlepas dari hasil verifikasi atau penyimpangan eksekutor, Soteria mengintegrasikan SpecMonitor. Alat ini memeriksa setiap panggilan alat yang diusulkan terhadap spesifikasi dan memblokirnya jika dianggap tidak aman. Ketika sebuah panggilan diblokir, eksekutor berkonsultasi dengan rencana terverifikasi untuk mencari alternatif dan pulih melalui jalur yang dipandu.
Hasil evaluasi dan kontribusi
Evaluasi dilakukan pada 207 tugas di tiga benchmark menantang yang mencakup berbagai tugas penggunaan alat. Hasilnya menunjukkan bahwa Soteria mencapai tingkat keberhasilan tugas rata-rata 1,7 kali lebih tinggi dibandingkan baseline terbaik, dengan nol pelanggaran spesifikasi kebijakan. Secara spesifik, Soteria meningkatkan keberhasilan tugas sebesar 4,7–43,9 poin persentase dibandingkan baseline terkuat untuk setiap pasangan model-benchmark.
Kontribusi utama penelitian ini meliputi:
- Pengenalan kerangka kerja Soteria yang mencapai keselamatan dan utilitas melalui perencanaan hierarkis terverifikasi dan penegakan spesifikasi saat runtime.
- Pendekatan perencanaan terverifikasi yang menyusun sub-rencana yang dapat digunakan kembali menjadi rencana hierarkis dan memverifikasinya secara statis terhadap kontrak alat, kemajuan, dan spesifikasi kebijakan menggunakan verifier-in-the-loop.
- Penegakan spesifikasi yang dipandu rencana, di mana SpecMonitor memblokir panggilan alat yang melanggar spesifikasi sebelum eksekusi, dan rencana terverifikasi menyediakan jalur pemulihan konkret bagi eksekutor.
Hasil ini menyoroti dua manfaat utama rencana terverifikasi dibandingkan pemantauan runtime saja: wawasan global (global foresight) dan panduan pemulihan (recovery guidance). Wawasan global memungkinkan verifikasi apakah urutan tindakan memenuhi spesifikasi, termasuk tindakan masa depan yang diperlukan, sebelum eksekusi dimulai. Panduan pemulihan menyediakan jalur alternatif menuju penyelesaian tugas ketika panggilan diblokir.
Soteria menunjukkan bahwa dengan kombinasi verifikasi formal dan penegakan dinamis, agen LLM dapat beroperasi secara otonom dalam lingkungan kritis tanpa mengorbankan keamanan atau efisiensi operasional.