Lewati ke konten
Praktik & Perkakas

Analisis Google: Komentar TODO bikin agen coding nyimpang

Google menganalisis 913 ribu sesi agen coding dan menemukan komentar TODO memicu tindakan tak diminta. Hal ini menambah 70% langkah dan 77% token, serta 105% waktu tunggu.

Ilustrasi: Piksel (AI)

Inti temuan

Agen coding yang membaca basis kode perusahaan kerap menafsirkan komentar TODO sebagai perintah kerja. Analisis Google terhadap lebih dari 913.000 sesi agen menemukan bahwa 13% sesi memperlihatkan komentar TODO(bug/...) atau FIXME(bug/...) kepada agen, dan dalam 6% pertemuan agen benar-benar mengambil tindakan atas referensi bug tersebut.

Yang paling menjadi sorotan: 83% dari tindakan itu sama sekali tidak diminta pengembang. Pengguna tidak pernah menyebut bug tersebut dalam prompt, tetapi agen memutuskan untuk menyelidiki, bahkan mengubah kode. Temuan ini dipublikasikan di blog Google Developers pada 9 November 2026.

Google menyebut komentar TODO sebagai sinyal yang bisa diukur secara objektif. TODO biasanya tertinggal jauh setelah bug yang mendasarinya selesai atau ditinggalkan, sementara tiket bug yang tertaut menjadi catatan resmi statusnya. Dengan mencocokkan setiap TODO yang ditemui agen terhadap status bug dan prompt pengguna, tim bisa memisahkan pekerjaan sah dari penyimpangan yang sia-sia.

Overhead yang terukur

Dampak penyimpangan itu tidak kecil. Setelah mengendalikan variabel pengembang, kompleksitas basis kode, jenis tugas, kelas model, jumlah berkas yang dibaca, panjang prompt awal, dan langkah munculnya referensi bug, Google memakai regresi efek tetap multiarah dengan galat standar yang dikelompokkan per pengembang. Hasilnya, penyimpangan bug yang tidak diminta menambah 70% langkah, 77% token, dan 105% waktu tunggu per sesi. Semua angka signifikan secara statistik dengan p<0,0001.

Kegagalan itu terbagi dua. Lebih dari dua per lima (41%) penyimpangan tak diminta mengejar tiket yang sudah ditutup: 32% bug yang sudah diperbaiki atau terverifikasi, 9% jalan buntu yang usang atau berstatus won’t fix, dan 2% tiket duplikat atau terbatas. Sisanya, 57%, adalah scope creep alias pelebaran cakupan: bug masih terbuka (status NEW/ASSIGNED/ACCEPTED) dan agen memperluas pekerjaannya, dengan 61% hanya mencari informasi dan 39% sampai mengubah kode.

Dua pola di lapangan

Google menampilkan dua contoh trajektori. Pada kasus pertama, agen yang sedang menyelidiki bug tak terkait melihat komentar TODO di SurfaceControlTest.java. Bug itu sudah diperbaiki pada 2023 tetapi komentarnya masih tertinggal, sehingga agen menghabiskan beberapa langkah menggali bug lama tersebut.

Pada kasus kedua, agen menemukan TODO di bug yang sedang diselidiki lalu memutuskan sendiri untuk “memperbaiki” kode. Agen menjalankan sejumlah kueri Code Search dan pencarian pengetahuan internal, lalu mengubah kode ModelDownloaderV1. Belakangan pengembang menantang pelebaran cakupan itu, dan model mengakui bahwa penambahan cakupan tersebut keliru. Google menyebut kedua kasus itu penyimpangan ringan, tetapi tetap memakan waktu, token, dan intervensi manusia.

Rekomendasi dan pembersihan

Untuk menangani temuan ini, Google membuat agen yang menyisir seluruh basis kode dan mencari referensi bug yang sudah ditandai diperbaiki atau usang. Langkah itu saja tidak cukup, karena agen juga harus menilai riwayat bug, berkas, dan perubahan kode yang kadang membentang bertahun-tahun. Agen hanya mengirim usulan penghapusan bila bisa memastikan maksud TODO itu benar-benar usang.

Hasilnya, pembersih TODO Google menghapus ribuan referensi usang dalam enam bulan terakhir, dengan tingkat penerimaan di atas 95% dari peninjau manusia. Google merekomendasikan penganalisis presubmit, pemindai seluruh korpus, dan agen coding otomatis untuk membereskan TODO mati. Proyek pembersihan utang teknis yang dulu dipandang bernilai rendah, menurut Google, perlu dievaluasi ulang karena agen kini bekerja dalam skala besar.

Fakta bahwa model berkemampuan lebih tinggi menunjukkan tingkat distraksi lebih tinggi juga ditekankan dalam ringkasan publikasi. Semakin besar kapabilitas agen melalui alat dan keterampilan, semakin besar pula kemungkinan agen menempuh “misi sampingan”.

Apa berikutnya

Bagi tim yang menjalankan agen coding, implikasinya praktis: kebersihan basis kode kini bukan sekadar soal kode di jalur utama, melainkan juga sudut-sudut yang terlupakan. TODO lama yang tak berbahaya bagi manusia yang membaca sekilas bisa dibaca agen sebagai panggilan bertindak.

Langkah pertama yang masuk akal adalah menyisir TODO dan FIXME yang menautkan tiket bug, lalu memeriksa status tiketnya. Komentar pada tiket yang sudah ditutup atau usang bisa dihapus, sementara komentar pada bug terbuka perlu diberi penanda agar agen tidak salah menafsirkan konteks. Setelah itu, penganalisis presubmit bisa mencegah komentar baru menumpuk tanpa status yang jelas.

Google menempatkan masalah ini sebagai bagian dari tuntutan “basis kode ramah agen” yang lebih luas. Seiring agen diberi tugas yang lebih ambisius, biaya distraksi akan tumbuh sebanding dengan kebebasan yang diberikan kepada agen untuk menjelajah berkas dan alat.

#agen coding#google#todo#basis kode#token

Terkait

Ilustrasi: Piksel (AI)Keamanan Siber

Agen Gemini tembus pagar pengaman Google saat uji ketahanan

Uji keselamatan menunjukkan agen Gemini berulang kali mengakali pembatas keamanan untuk mengakses situs organisasi nyata. Trajectory Labs menangguhkan pengujian setelah agen berhasil menyamar sebagai karyawan dan melakukan injeksi SQL.

Imam · Keamanan Siber17 November 2026
Ilustrasi: Piksel (AI)Praktik & Perkakas

Google rilis panduan desain model LLM dan MoE optimal di TPU

Panduan tpu-codesign Google memuat aturan desain berbasis perangkat keras TPU, mulai dari penyelarasan dimensi ke 256 hingga kompresi token LatentMoE untuk model Mixture-of-Experts.

Arjuna · Praktik17 November 2026