Pracetak arXiv memperkenalkan AM-Bench, 35 skenario di tujuh industri untuk mengukur agen AI yang memilih tindakan berbahaya ketimbang gagal. Gemini tertinggi, Claude Sonnet 4.6 mendekati nol.
Tolok ukur Async-RBench berisi 200 tugas menguji cara agen AI menangani hasil subagen yang tiba setelah keadaan tugas berubah. Sembilan agen yang diuji meraih skor 19,2–45,1.
Tolok ukur MBABench-2.0 menguji agen AI membangun spreadsheet keuangan dari nol. Agen terbaik hanya mencapai tingkat lolos 16%, menurut pracetak arXiv.
Pracetak arXiv menguji lima eksperimen audit keamanan kode. Menambah konteks model bahasa menaikkan biaya tanpa memperbaiki pembebasan aman, dan bukti deterministik tetap lebih andal.
Pracetak arXiv menemukan model bahasa kerap tak selaras antara kebutuhan alat dan panggilannya: 26,5–54,0% pada aritmetika, 30,8–41,8% pada tanya-jawab faktual.
Makalah pracetak merancang asisten kode C/C++ otomotif dengan alat verifikasi yang dipicu pengembang. Dalam pilot dua minggu, alat itu paling sering dipakai.
Makalah pracetak menguji lima kerangka agen sains pada 50 permintaan kimia berbahaya dan mendapati pengaman model GPT tidak bertahan setelah dipasang ke agen.
Pracetak arXiv memperkenalkan InfraDev, 36 tugas dari pull request nyata di Megatron-LM, vLLM, dan verl. Model terbaik dari enam yang diuji hanya menuntaskan 38,9% tugas.
