Makalah, rilis model, tolok ukur, dan terobosan teknis. · Umpan RSS rubrik ini
Pracetak arXiv memaparkan Log-To-Leak: instruksi di deskripsi alat MCP membuat agen AI memanggil alat pencatat milik penyerang dan mengirim data interaksi. Serangan berhasil 62,64–100% pada pasangan yang diuji.
Pracetak arXiv menemukan 3.827 dari 11.189 hasil alat dalam sebuah agen AI terpotong sebelum dibaca model, padahal jendela konteks nyaris kosong. Studi ini belum ditelaah sejawat.
Makalah pracetak merancang asisten kode C/C++ otomotif dengan alat verifikasi yang dipicu pengembang. Dalam pilot dua minggu, alat itu paling sering dipakai.
Pustaka Python Concordat menolak tindakan agen AI yang melanggar alur aturan. Pada uji 50 tugas maskapai, agen standar menabrak syarat konfirmasi pelanggan, Concordat tidak.
Tolok ukur OpenGray menilai agen AI perencana radioterapi dari keputusannya mengajukan rencana atau meminta tinjauan. Skor agregat tinggi ternyata menutupi kegagalan spesifik. Masih pracetak.
Pracetak arXiv memperkenalkan InfraDev, 36 tugas dari pull request nyata di Megatron-LM, vLLM, dan verl. Model terbaik dari enam yang diuji hanya menuntaskan 38,9% tugas.
Pracetak di arXiv menguji tujuh LLM dari empat vendor: apakah agen AI bisa membedakan koreksi sah dari manipulasi saat pengguna membantah, dan bukan sekadar mudah mengalah.
Pracetak arXiv mengusulkan kerangka diagnosis banding multiagen yang dipandu ontologi medis agar penalaran AI lebih terstruktur dan dapat diaudit. Belum ditelaah sejawat.
Pracetak arXiv memperkenalkan AM-Bench, 35 skenario di tujuh industri untuk mengukur agen AI yang memilih tindakan berbahaya ketimbang gagal. Gemini tertinggi, Claude Sonnet 4.6 mendekati nol.
Pracetak arXiv menemukan model bahasa kerap tak selaras antara kebutuhan alat dan panggilannya: 26,5–54,0% pada aritmetika, 30,8–41,8% pada tanya-jawab faktual.
Pracetak arXiv memperkenalkan MCP-Injector untuk menguji agen AI saat alat MCP gagal. Penulisnya mengklaim model yang lebih besar tidak otomatis lebih tahan gangguan.
Peneliti Jepang melaporkan LLENS, platform agen AI yang berjalan di jaringan tertutup Rumah Sakit Universitas Hokkaido, dengan akurasi 97,2% saat model membaca dokumen rumah sakit secara interaktif.
