Sepertiga keluaran alat pada agen AI terpotong sebelum dibaca model
Pracetak arXiv menemukan 3.827 dari 11.189 hasil alat dalam sebuah agen AI terpotong sebelum dibaca model, padahal jendela konteks nyaris kosong. Studi ini belum ditelaah sejawat.
#evaluasi model
3 artikel
Studi Pracetak: Agen AI Sulit Bedakan Koreksi Sah dari Manipulasi Pengguna
Pracetak di arXiv menguji tujuh LLM dari empat vendor: apakah agen AI bisa membedakan koreksi sah dari manipulasi saat pengguna membantah, dan bukan sekadar mudah mengalah.
Tolok ukur InfraDev: model terbaik hanya selesaikan 38,9% tugas infrastruktur AI
Pracetak arXiv memperkenalkan InfraDev, 36 tugas dari pull request nyata di Megatron-LM, vLLM, dan verl. Model terbaik dari enam yang diuji hanya menuntaskan 38,9% tugas.