Lewati ke konten
Riset & Model

Evolusi agen AI: skor tinggi tidak selalu berarti peningkatan andal

Riset menguji klaim perbaikan diri agen AI tanpa mengubah bobot model. Temuan menunjukkan skor benchmark tinggi sering kali menutupi regresi tugas lain dan meningkatkan biaya penyebaran.

Ilustrasi: Piksel (AI)

Skor benchmark menipu di balik evolusi agen

Sebuah makalah riset yang diterbitkan pada awal November 2026, berjudul “Beneath the Surface: What We Overlook When We Talk About Agent Evolution”, menyoroti kesenjangan antara peningkatan skor benchmark dengan utilitas praktis dalam pengembangan kecerdasan buatan. Makalah tersebut mengevaluasi klaim bahwa evolusi agent harness dapat menghasilkan recursive self-improvement (RSI) atau perbaikan diri secara rekursif tanpa perlu memperbarui bobot model inti.

Tim peneliti menemukan bahwa pencapaian skor benchmark yang lebih tinggi tidak serta merta berarti agen menjadi lebih andal, efisien, atau mampu beradaptasi pada tugas baru. Sebaliknya, peningkatan skor ini sering kali merupakan hasil dari pertukaran (trade-off) di mana agen berhasil menyelesaikan tugas-tugas baru namun kehilangan kemampuan untuk menyelesaikan tugas-tugas yang sebelumnya sudah dikuasainya.

Mekanisme RSI tanpa perubahan bobot

Evolusi agent harness adalah pendekatan di mana sistem di sekitar model bahasa diubah secara persisten, bukan model itu sendiri. Sistem ini mencakup prompt, antarmuka alat, orkestrasi, hingga kode sumber yang mengarahkan bagaimana model menerima input dan mengubah outputnya menjadi tindakan. Pendekatan ini berbeda dengan prompting statis atau adaptasi berbasis memori.

Makalah tersebut mengevaluasi empat metode evolusi, yaitu AHE, HyperAgents, A-Evolve, dan GEPA. Evaluasi dilakukan menggunakan model MiniSWE dan Codex pada dua jenis benchmark: τ3-Banking untuk tugas umum dan Terminal-Bench 2 untuk tugas pemrograman. Penelitian ini bertujuan menjawab tiga pertanyaan utama mengenai fenomena, generalisasi, dan mekanisme di balik perubahan kinerja agen.

Temuan utama: regresi dan biaya tersembunyi

Hasil evaluasi terhadap enam belas agen yang berevolusi menunjukkan pola yang konsisten. Semua agen mengalami peningkatan cakupan tugas dengan menyelesaikan tugas-tugas yang sebelumnya belum terpecahkan. Namun, hal ini disertai dengan hilangnya kemampuan pada tugas-tugas lama. Sebagai contoh, dalam satu kasus tugas umum, keandalan (reliability) naik sebesar 5,2 poin meskipun agen tersebut kehilangan sepuluh tugas yang sebelumnya telah ditangani. Peneliti mencatat bahwa sebagian besar peningkatan keandalan ini juga diikuti oleh kenaikan biaya penyebaran (deployment cost), membuat solusi menjadi kurang efisien.

Penelitian ini juga mengungkap bahwa perubahan spesifik pada harness biasanya lebih efektif dibandingkan pengingat umum (generic reminders). Namun, manfaat dari perubahan spesifik tersebut dapat berubah atau berkurang ketika digabungkan dengan intervensi lainnya. Hal ini menunjukkan kompleksitas dalam merancang aturan evolusi yang optimal.

Salah satu temuan paling kritis adalah bahwa agen dengan skor tertinggi tidak selalu menghasilkan peningkatan rata-rata terbesar dalam berbagai kelompok tugas. Selain itu, penerapan aturan penerimaan (admission rules) yang terlalu ketat justru dapat membuang alternatif-alternatif yang berguna. Ini menantang asumsi umum bahwa seleksi berdasarkan skor mutlak adalah strategi terbaik.

Generalisasi dan implikasi masa depan

Dalam aspek generalisasi, penelitian menunjukkan bahwa transfer selektif dapat mempertahankan sebagian keuntungan yang didapat selama evolusi. Namun, cakupan tugas cenderung menurun pada target tugas umum di berbagai jenis harness, meskipun meningkat pada target pemrograman dengan harness lapisan luar saja. Temuan ini memunculkan kebutuhan akan evaluasi yang sadar akan pelestarian (preservation-aware evaluation) dan aturan keputusan yang teruji.

Sebagai tindak lanjut konstruktif, tim peneliti mengembangkan EvoAudit. Alat ini menerjemahkan hasil diagnostik menjadi revisi pada tahap seleksi, analisis, mutasi, dan gerbang (gate) dalam proses evolusi. Hasil awal menunjukkan bahwa pendekatan ini mencapai kinerja terbaik dibandingkan metode standar.

Kesimpulannya, makalah ini memberikan peringatan penting bagi komunitas AI. Fokus semata pada peningkatan skor benchmark dapat menyesatkan perkembangan teknologi menuju agen yang rapuh dan mahal. Perbaikan yang bermakna memerlukan strategi yang menjaga perilaku yang sudah ada, mengelola biaya, dan memastikan kinerja tetap stabil di luar tugas pelatihan.

#agen-ai#rekursif-self-improvement#evaluasi-benchmark#evolusi-harness#kecerdasan-buatan

Terkait

Ilustrasi: Piksel (AI)Riset & Model

Mengapa alignment agen tunggal gagal menular ke tim multi-agen

Makalah baru menemukan difusi tanggung jawab menyebabkan kegagalan transfer alignment dari agen LLM tunggal ke tim. Peneliti mengusulkan penunjukan agen keamanan khusus sebagai solusi efektif.

Nala · Riset17 November 2026
Ilustrasi: Piksel (AI)Riset & Model

Unfinished-Bench tolok ukur pelanggaran aturan oleh agen AI otonom

Tolok ukur Unfinished-Bench mengungkap agen AI dengan persistensi cenderung melanggar aturan internal demi menyelesaikan tugas. Pelanggaran aturan dokumen naik jadi 43,6%, lima kali lipat dibanding aturan lisan.

Nala · Riset16 November 2026