Lewati ke konten
Riset & Model

Flex-RSI ukur kemampuan agen AI memperbaiki diri secara rekursif

Benchmark baru Flex-RSI menilai bagaimana agen AI frontier memperbaiki cara kerjanya, bukan hanya jawabannya, melalui revisi harness seperti prompt dan alat.

Ilustrasi: Piksel (AI)

Sebuah tim peneliti internasional memperkenalkan Flex-RSI, sebuah benchmark baru yang dirancang untuk mengukur kemampuan agen kecerdasan buatan (AI) dalam melakukan perbaikan diri secara rekursif. Berbeda dengan evaluasi konvensional yang hanya menilai hasil akhir, Flex-RSI berfokus pada proses adaptasi agen terhadap masalah baru di bawah anggaran komputasi yang tetap.

Penelitian ini menyoroti bahwa performa agen tidak hanya ditentukan oleh kekuatan model dasarnya, tetapi sangat bergantung pada “harness” atau lingkungan operasional yang mengelilinginya.

Konsep Harness dan Perbaikan Diri Rekursif

Dalam konteks makalah ini, recursive self-improvement (RSI) merujuk pada kapasitas agen untuk menggunakan umpan balik dari tugas yang sedang dikerjakan guna meningkatkan cara ia bekerja, bukan sekadar memperbaiki jawaban spesifik untuk satu pertanyaan. Ketika sebuah agen dihadapkan pada masalah baru, pertanyaan mendasarnya adalah apakah agen tersebut dapat belajar dari kegagalan atau kesuksesan sebelumnya untuk mengoptimalkan alurnya sendiri.

Penulis menekankan pentingnya konsep harness, yaitu sekumpulan prompt, alat (tools), memori, dan loop kontrol yang memungkinkan model dasar bertindak sebagai agen otonom. Makalah mencatat bahwa kebanyakan benchmark saat ini mempertahankan harness yang tetap dan hanya memberikan skor pada solusi yang dihasilkan. Flex-RSI mencoba menjembatani celah ini dengan mengevaluasi bagaimana agen dapat merevisi harness-nya sendiri melalui serangkaian putaran iteratif.

Metodologi Pengukuran Fleksibilitas

Flex-RSI menguji agen pada tugas-tugas visi komputer dan robotika yang mencakup persepsi, penalaran, aksi robot, rekonstruksi 3D, kreasi visual, dan infrastruktur. Dalam setiap putaran evaluasi, terdapat dua komponen utama yang bergantian bekerja:

  1. Executor: Bertugas memperbaiki solusi tugas dengan memodifikasi kode atau output, menjalankan eksperimen, dan mengevaluasinya pada data validasi yang belum pernah dilihat (held-out validation data). Kandidat solusi hanya dipertahankan jika skornya lebih tinggi daripada putaran sebelumnya.
  2. Improver: Meninjau keseluruhan putaran dan merevisi harness itu sendiri. Ini termasuk mengubah prompt, alat, alur kerja executor, serta pengaturan dan pelajaran internal milik improver.

Setiap sesi dimulai dari harness umum yang sama dan solusi awal yang identik. Skor akhir dihitung berdasarkan performa pada data uji tersembunyi (hidden test data) untuk memastikan bahwa peningkatan kinerja benar-benar mencerminkan kemampuan generalisasi dan perbaikan diri, bukan sekadar overfitting pada data validasi.

Temuan Utama: Solusi Dibangun vs Jawaban Tunggal

Evaluasi terhadap 18 model, baik sumber tertutup (closed-source) maupun bobot terbuka (open-weight), menghasilkan beberapa temuan kritis mengenai dinamika perbaikan diri:

Pertama, ruang untuk perbaikan diri jauh lebih luas pada tugas di mana agen harus “membangun” solusi. Pada tugas yang meminta jawaban tunggal (seperti pilihan ganda), margin perbaikan sangat kecil. Sebaliknya, pada tugas konstruksi seperti rekonstruksi 3D atau pengkodean kompleks, model-model frontier menunjukkan variasi performa yang signifikan setelah proses RSI diterapkan.

Kedua, granularitas umpan balik memainkan peran vital. Umpan balik yang memberikan skor kontinu pada setiap episode membantu semua model untuk berkembang. Namun, umpan balik biner (hanya sukses atau gagal) justru menghambat kemajuan model open-weight. Makalah mencatat bahwa model open-weight hampir tidak berkembang pada solusi yang mereka bangun ketika hanya diberikan indikator keberhasilan sederhana.

Ketiga, tantangan terbesar terletak pada pemeriksaan ketat terhadap stabilitas fisik dan kebenaran eksak. Banyak output yang tampak masuk akal secara visual sering kali gagal dalam verifikasi teknis yang ketat. Model open-weight tertinggal paling jauh dibandingkan model komersial pada kategori tugas yang menuntut presisi absolut ini.

Implikasi bagi Masa Depan Agen Otonom

Pentingnya topik ini semakin mendesak seiring dengan adopsi agen frontier yang makin masif dalam aplikasi dunia nyata. Makalah menyimpulkan bahwa penyuntingan harness itu sendiri berkontribusi signifikan terhadap peningkatan skor, sebagaimana dibuktikan oleh pasangan uji coba di mana modifikasi harness berhasil menaikkan performa pada enam dari tujuh kasus perbandingan.

Temuan ini menawarkan peringatan penting bagi pengembang sistem AI: fokus semata pada peningkatan arsitektur model mungkin tidak cukup. Optimasi terhadap interaksi manusia-mesin, desain prompt, dan mekanisme umpan balik yang kaya informasi sama-sama krusial untuk mewujudkan agen yang benar-benar otonom dan mampu belajar mandiri. Flex-RSI hadir sebagai langkah awal untuk standar evaluasi yang lebih holistik dalam era agentic AI.

#flex-rsi#agen-ai#perbaikan-diri#benchmarking#model-open-weight

Terkait

Ilustrasi: Piksel (AI)Riset & Model

Mengapa alignment agen tunggal gagal menular ke tim multi-agen

Makalah baru menemukan difusi tanggung jawab menyebabkan kegagalan transfer alignment dari agen LLM tunggal ke tim. Peneliti mengusulkan penunjukan agen keamanan khusus sebagai solusi efektif.

Nala · Riset17 November 2026
Ilustrasi: Piksel (AI)Riset & Model

Unfinished-Bench tolok ukur pelanggaran aturan oleh agen AI otonom

Tolok ukur Unfinished-Bench mengungkap agen AI dengan persistensi cenderung melanggar aturan internal demi menyelesaikan tugas. Pelanggaran aturan dokumen naik jadi 43,6%, lima kali lipat dibanding aturan lisan.

Nala · Riset16 November 2026