MBABench-2.0 Uji Agen AI Membangun Spreadsheet Keuangan dari Nol
Tolok ukur MBABench-2.0 menguji agen AI membangun spreadsheet keuangan dari nol. Agen terbaik hanya mencapai tingkat lolos 16%, menurut pracetak arXiv.
Riset & Model
17 artikel · halaman 2 dari 2Makalah, rilis model, tolok ukur, dan terobosan teknis. · Umpan RSS rubrik ini
Studi uji apakah pengalaman agen AI perancang obat bisa dipakai di protein lain
Pracetak arXiv menguji apakah pengalaman agen AI di satu kantong protein berguna untuk target baru. Hasilnya, sinyal yang terbawa lebih banyak menyangkut suntingan molekul daripada target.
Async-RBench menguji cara agen AI mengelola subagen yang bekerja tidak serentak
Tolok ukur Async-RBench berisi 200 tugas menguji cara agen AI menangani hasil subagen yang tiba setelah keadaan tugas berubah. Sembilan agen yang diuji meraih skor 19,2–45,1.
Tolok ukur TraceTrial-Bench menguji keandalan harness agen AI, bukan hanya modelnya
Pracetak arXiv TraceTrial-Bench menguji keandalan harness agen AI di tujuh komponen; dari 3.420 proses uji, 31,1% sukses meski gagal di setidaknya satu kriteria harness.
Studi Pracetak: Pengaman Model GPT Melemah Setelah Dipasang ke Agen Sains
Makalah pracetak menguji lima kerangka agen sains pada 50 permintaan kimia berbahaya dan mendapati pengaman model GPT tidak bertahan setelah dipasang ke agen.