Serangan S1-Evo mengelabui model keputusan cepat pada agen LLM
Makalah baru menunjukkan model keputusan cepat System-1 dalam agen LLM rentan dimanipulasi lewat serangan S1-Evo yang mengubah cabang eksekusi sistem.
Sebuah makalah penelitian terbaru mengungkap kerentanan kritis pada arsitektur kecerdasan buatan modern. Peneliti memperkenalkan metode serangan bernama S1-Evo, yang berhasil memanipulasi keluaran dari model keputusan cepat yang dikenal sebagai System-1 (S1). Kerentanan ini memungkinkan pihak tidak terpercaya mengubah jalur eksekusi agen berbasis Large Language Model (LLM) tanpa memerlukan perintah eksplisit atau jailbreak teks konvensional.
Kerentanan pada Sistem Keputusan Cepat
Dalam ekosistem agen LLM, pemrosesan tugas kompleks sering dibagi menjadi dua lapisan untuk efisiensi. Lapisan pertama adalah model System-2 (S2) yang bersifat autoregresif dan lambat, digunakan untuk penalaran mendalam. Lapisan kedua adalah model System-1 (S1) yang dirancang khusus untuk mengambil keputusan cepat seperti pengalihan rute (routing), moderasi konten, dan otorisasi akses. Penggunaan model S1 bertujuan memangkas biaya inferensi dan latensi dengan mengevaluasi aturan dinamis serta opsi yang telah ditentukan sebelumnya secara langsung.
Namun, menempatkan model S1 pada jalur kontrol utama menciptakan celah keamanan baru. Berbeda dengan model S2 yang menghasilkan teks token demi token, antarmuka S1 menilai opsi berdasarkan kontrak sistem dan memberikan skor kepercayaan. Serangan tradisional yang menargetkan kelanjutan teks atau perintah override menjadi tidak efektif karena struktur pengambilan keputusan S1 yang kaku dan berbasis skor.
Mekanisme S1-Evo: Kompetisi Bukti Terpandu Pengalaman
Untuk mengatasi tantangan ini, peneliti mengembangkan S1-Evo, sebuah kerangka kerja serangan mandiri yang berevolusi. Metode ini bekerja dengan mengganggu bidang input yang tidak dipercaya melalui saluran bukti yang sadar kontrak. Tujuannya adalah memicu kompetisi bukti antara konteks jahat dan bukti asli tugas, sekaligus mempertahankan invariansi fakta agar perubahan tidak terlihat mencolok.
Proses serangan dilakukan dalam dua tahap utama. Pertama, secara offline pada tugas benih, framework melakukan pencarian umpan balik yang dipandu oleh margin arah dan verifikasi ulang. Kandidat gangguan dioptimalkan hingga tercapai pembalikan keputusan yang diverifikasi, lalu distilasi menjadi kartu pengalaman. Kedua, saat waktu uji coba, S1-Evo mengambil kartu pengalaman yang relevan untuk membangun gangguan terhadap tugas yang belum pernah dilihat sebelumnya.
Pendekatan ini berbeda signifikan dari serangan terhadap model autoregresif. Serangan konvensional mengandalkan manipulasi urutan kata, sedangkan S1-Evo memanfaatkan mekanisme penilaian kompetitif di mana konteks tidak tepercaya dapat menggeser skor antar opsi keputusan tanpa perlu menghasilkan output teks panjang.
Dampak Operasional dan Angka Efektivitas
Evaluasi S1-Evo dilakukan pada empat benchmark dan tiga model S1 berbeda. Pada benchmark jev-1.14, metode ini mencapai rata-rata tingkat serangan sukses (ASR) sebesar 71,99% dan ASR kepercayaan tinggi sebesar 57,47%. Angka ini menunjukkan bahwa lebih dari separuh keputusan kritis pada model target dapat diubah sesuai keinginan penyerang.
Dampaknya melampaui level node tunggal. Dalam simulasi alur kerja agen dual-sistem yang menggabungkan S1 dan S2, gangguan pada output alat dan catatan otorisasi menyebabkan pelanggaran end-to-end hingga 24,00%. Ini berarti hampir seperempat interaksi agen secara keseluruhan dapat dialihkan ke jalur berbahaya akibat kesalahan keputusan pada komponen S1.
Penelitian ini juga mencatat bahwa S1-Evo mampu mengurangi penggunaan token penyerang sebesar 32,10% hingga 62,26% dibandingkan dengan baseline iteratif LLM. Efisiensi ini menjadikan serangan lebih praktis untuk diterapkan pada node keputusan transien dalam agen hidup yang beroperasi secara real-time.
Tantangan Pertahanan dan Masa Depan
Keterbatasan evaluasi yang dicatat dalam makalah mencakup fokus pada empat benchmark spesifik dan tiga model S1 tertentu. Makalah tidak merinci apakah kerentanan ini berlaku universal pada semua varian model S1 di pasar. Selain itu, meskipun framework ini efisien dalam mengurangi beban komputasi penyerang, efektivitasnya terhadap mitigasi waktu inferensi masih terbatas pada dua jenis pertahanan yang diuji.
Temuan ini menyoroti perlunya desain ulang mekanisme keamanan pada agen LLM. Para peneliti menekankan bahwa pertahanan masa depan harus mempertimbangkan sifat kompetitif dari model S1, bukan hanya perlindungan terhadap injeksi prompt tekstual standar. Tanpa adaptasi, sistem otonom yang mengandalkan keputusan cepat tetap rentan terhadap manipulasi logika bisnis melalui eksploitasi ambiguitas bukti.