Replit rilis ViBench 2.0 untuk uji agen pembangun perangkat lunak
Replit memperkenalkan ViBench 2.0, tolok ukur untuk menilai kemampuan agen kecerdasan buatan membangun produk perangkat lunak utuh melalui permintaan fitur bertahap.
Replit memperkenalkan ViBench 2.0, sebuah tolok ukur baru yang dirancang khusus untuk mengevaluasi kemampuan agen kecerdasan buatan dalam membangun produk perangkat lunak secara utuh dan jangka panjang. Berbeda dengan tolok ukur pemrograman konvensional yang menilai penyelesaian satu tugas spesifik, ViBench 2.0 mensimulasikan proses pengembangan nyata di mana pengguna meminta penambahan fitur secara berturut-turut kepada agen permesinan (agentic engineering).
Keterbatasan tolok ukur konvensional
Menurut makalah penelitian oleh tim Replit pada November 2026, banyak tolok ukur pemrograman saat ini telah mencapai titik saturasi. Lebih dari 40% tolok ukur yang dirilis kurang dari dua tahun terakhir dianggap sudah jenuh karena model-model terdepan berhasil menyelesaikan hampir semua tesnya.
Tolok ukur tradisional seperti Vibe Code Bench atau varian awal ViBench umumnya memberikan satu spesifikasi lengkap kepada agen dan menilai hasilnya sebagai satu entitas tunggal. Dalam skenario tersebut, agen tidak dituntut untuk mempertahankan integritas kode lama sambil menambahkan fungsionalitas baru secara iteratif.
Dalam praktik vibe coding, istilah yang dipopulerkan Andrej Karpathy pada 2025, pengguna berinteraksi dengan AI melalui serangkaian permintaan bahasa alami. Agen harus membangun aplikasi dari nol (greenfield) dan memperluasnya seiring waktu tanpa spesifikasi tertulis yang kaku. Makalah itu menegaskan bahwa tolok ukur yang ada gagal menjawab pertanyaan kritis pengguna: apakah produk yang dibangun dari nol tetap berfungsi secara keseluruhan setelah serangkaian permintaan fitur terakhir?
Metodologi evaluasi jangka panjang
ViBench 2.0 menguji 17 produk web tumpukan penuh (full-stack) yang dimodelkan berdasarkan perangkat lunak populer. Total tolok ukur ini mencakup 241 permintaan fitur dan 544 rencana pengujian (test plans), di mana 85% di antaranya menggabungkan beberapa fitur sekaligus.
Ciri utama metode ini adalah cakrawala evaluasi yang panjang dalam tiga aspek. Pertama, setiap produk dibangun melalui 9 hingga 18 permintaan fitur yang saling bergantung. Kedua, percakapan dengan agen dapat melampaui 200.000 token konteks. Ketiga, setiap fitur yang ditambahkan sebelumnya harus tetap berfungsi setelah permintaan berikutnya diberikan, tanpa umpan balik antarminta.
Penilaian dilakukan secara mutlak. Sebuah bangunan hanya dinyatakan lulus jika seluruh rencana pengujian berjalan sukses, sebagaimana seorang pengguna akhir akan menilai aplikasi melalui antarmukanya. Untuk memastikan keandalan skor ketat ini, protokol penilaian menggunakan agen peramban (browser agent) yang menjalankan tes otomatis. Protokol ini divalidasi mampu menangkap 34 bug yang sengaja ditanam (planted bugs) dan meminimalkan kelulusan palsu, dengan tingkat kesalahan hanya 0,8%.
Tim peneliti juga melibatkan pihak ketiga, Fireworks AI, untuk menjalankan uji independen terhadap sembilan model berbeda tanpa modifikasi tambahan guna memastikan objektivitas data.
Kesenjangan reliabilitas model
Hasil pengujian mengungkapkan adanya kesenjangan signifikan antara keberhasilan parsial dan keberhasilan total. Tiga model terkuat yang diuji mampu melewati hingga 98% rencana pengujian individual. Namun, ketika dinilai sebagai produk utuh, model tersebut hanya berhasil menghasilkan perangkat lunak yang berfungsi sepenuhnya dalam maksimal 65% dari total percobaan.
Tidak ada model berbobot terbuka (open-weight) yang mampu menghasilkan satu produk pun yang berfungsi penuh. Makalah tidak merinci nama-nama model secara spesifik dalam abstrak maupun bagian yang tersedia, tetapi mencatat bahwa sebagian besar kegagalan pada tiga model teratas hanya disebabkan oleh gagalnya satu atau dua rencana pengujian.
Laju perbaikan teknologi terlihat cepat. Sepanjang tiga rilis berturut-turut dari satu keluarga model tertentu, tingkat kelulusan (pass@1) pada produk publik meningkat dari 3% menjadi 53%, sementara biaya per bangunan turun lebih dari setengahnya.
Tim Replit merilis delapan produk beserta alat pengujiannya untuk komunitas riset, sambil menahan sembilan produk lainnya sebagai data tertutup untuk mencegah overfitting. Makalah ini juga membagikan pelajaran praktis dari penggunaan tolok ukur tersebut dalam keputusan penempatan produksi Replit, termasuk strategi manajemen konteks agen untuk menjaga stabilitas proyek jangka panjang.
#replit#ai-agent#software-engineering#benchmark#machine-learning