Circuit Oracle otomatisasi analisis graf atribusi via bahasa alami
Alat baru Circuit Oracle memungkinkan peneliti menganalisis graf kausal fitur dalam model bahasa hanya dengan pertanyaan teks, mempercepat proses interpretabilitas mekanistik yang sebelumnya manual.
Tim peneliti memperkenalkan Circuit Oracle, sebuah kerangka kerja yang memanfaatkan kecerdasan buatan untuk mengotomatisasi analisis atribusi pada model bahasa besar. Alat ini memungkinkan peneliti mengeksplorasi “graf atribusi”—peta internal yang menggambarkan bagaimana model memproses informasi—hanya dengan mengajukan pertanyaan menggunakan bahasa alami.
Inovasi ini bertujuan mengurangi beban kerja manual yang sebelumnya sangat memakan waktu bagi para peneliti interpretabilitas dan ahli keamanan AI.
Memahami Graf Atribusi dan Transcoder
Untuk memahami cara kerja alat ini, perlu diketahui bahwa interpretabilitas mekanistik berusaha membongkar cara model bahasa bekerja di balik layar. Salah satu metodenya adalah pembuatan graf atribusi. Proses ini menggabungkan teknik yang disebut transcoder, yang memecah komputasi kompleks di dalam jaringan saraf menjadi fitur-fitur sederhana yang dapat ditafsirkan manusia (sparse interpretable features). Fitur-fitur ini kemudian dihubungkan oleh sisi-sisi kausal yang menunjukkan arah pengaruhnya terhadap output model.
Namun, struktur data ini sangat rumit. Sebuah graf atribusi untuk satu prompt pendek bisa saja mengandung ratusan fitur aktif yang tersebar di puluhan lapisan (layer) model, ditambah ribuan koneksi antar fitur. Mengubah tumpukan data teknis tersebut menjadi wawasan yang berguna untuk keamanan—seperti mendeteksi bias atau kebocoran data rahasia—biasanya memerlukan berjam-jam analisis manual oleh ahli.
Otomasi Lewat Multi-Agent LLM
Circuit Oracle dirancang untuk mengatasi kemacetan analisis ini. Menurut makalah penelitian yang dirilis pada awal November 2026, alat ini tidak melatih model khusus dari nol. Sebaliknya, ia menggunakan model bahasa besar (LLM) yang sudah ada (off-the-shelf) sebagai inti pengolahannya. Model tersebut dilengkapi dengan sistem multi-agent dan seperangkat keterampilan (skills) yang ditulis secara spesifik untuk tugas tertentu.
Ketika pengguna mengajukan pertanyaan, misalnya “Apakah prediksi model ini didorong oleh fitur palsu?”, Circuit Oracle akan membaca graf atribusi melalui serangkaian panggilan alat (tool calls). Sistem ini menelusuri jalur kausal, memeriksa fitur yang aktif, dan bahkan dapat memicu agen bawah (subagents) untuk menjelajahi jalur paralel. Pendekatan ini memanfaatkan fakta bahwa graf atribusi memiliki struktur yang siap dicerna oleh logika LLM: node memiliki label semantik, sisi memiliki bobot numerik, dan alurnya terarah dari input hingga keluaran.
Evaluasi Kinerja pada Tiga Tugas Kritis
Penelitian ini mengevaluasi kinerja Circuit Oracle pada tiga tugas proksi yang relevan dengan keamanan AI. Hasilnya bervariasi tergantung pada jenis tantangan yang dihadapi:
Pertama, dalam mendeteksi fitur palsu pada sirkuit probe, alat ini mencatat akurasi sebesar 78,2 persen dengan deviasi standar 2,4 persen. Angka ini lebih baik dibandingkan metode baseline yang hanya mengandalkan peringkat fitur pada satu lapisan tunggal. Kedua, untuk tugas menarik pengetahuan tersembunyi dari model yang telah dilatih dengan batasan ketat (taboo-finetuned), hasil Circuit Oracle masih tertinggal dibandingkan model penjelas mandiri (self-explainers) seperti Activation Oracles yang telah dilatih khusus. Ketiga, dalam upaya menekan penolakan model (refusal suppression) terhadap 50 prompt, intervensi tunggal dari oracle sedikit di bawah baseline statistik, namun mampu melampauinya jika diizinkan melakukan lima kali percobaan dan mengambil hasil terbaik.
Selain angka keberhasilan, sistem ini juga menghasilkan subgraf yang dipangkas dan penjelasan fitur yang spesifik konteks. Tim peneliti menyatakan bahwa mereka membuka akses ke subgraf tersebut untuk mendorong evaluasi langsung mengenai kegunaannya di masa depan.
Tantangan dan Langkah Selanjutnya
Meskipun menjanjikan, otomatisasi analisis graf atribusi tetap menghadapi tantangan. Makalah tersebut mengakui bahwa kualitas graf atribusi itu sendiri sulit dinilai. Sebagian besar karya sebelumnya bergantung pada uji kesetiaan (faithfulness checks) yang menguji apakah sirkuit dapat mereproduksi perilaku model target. Dengan adanya Circuit Oracle, fokus beralih ke kemampuan agen dalam menavigasi dan menyimpulkan pola dari struktur data yang sudah ada.
Para peneliti melihat potensi alat ini sebagai bagian dari toolkit standar bagi auditor dan red-teamer. Alih-alih harus melatih model baru untuk setiap pertanyaan keamanan baru, tim keamanan cukup menulis spesifikasi tugas (skill) baru yang berisi instruksi dan alat navigasi graf. Ini menjadikan Circuit Oracle sebagai alat fleksibel yang dapat diadaptasi seiring perkembangan arsitektur model bahasa yang semakin kompleks.
#interpretabilitas-mekanistik#llm#keamanan-ai#transcoder#circuit-oracle