Riset: Masalah memori agen LLM ada di penulisan, bukan retrieval
Makalah baru mengusulkan DISCERN, kerangka kerja yang menyimpan memori utuh saat ditulis dan menyelesaikan ambiguitas saat dibaca, karena masalah utama agen perusahaan adalah resolusi entitas, bukan pencarian data.
Masalah memori jangka panjang pada agen kecerdasan buatan (LLM) selama ini dipandang sebagai tantangan dalam pencarian informasi. Namun, sebuah makalah riset terbaru berargumen bahwa akar permasalahan sebenarnya terletak pada bagaimana data tersebut disimpan, bukan cara sistem mengambilnya kembali.
Chirag Ahuja dan rekan-rekannya memperkenalkan kerangka kerja bernama DISCERN (DISambiguation and Cross-session Episodic memoRy Navigation) yang mengadopsi prinsip “preserve at write, resolve at read” atau simpan saat menulis, selesaikan saat membaca.
Mengapa retrieval bukan masalah utama
Dalam lingkungan korporat, agen LLM harus mengingat fakta dari puluhan sesi interaksi yang berbeda. Selama periode waktu ini, fakta-fakta baru sering kali bertentangan dengan yang lama, menimpa informasi usang, atau menjadi kabur karena kemiripan nama entitas yang memicu tabrakan dalam ruang vektor (embedding space).
Pendekatan industri saat ini, yang umumnya mengandalkan Retrieval-Augmented Generation (RAG), berasumsi bahwa masalah utama adalah peringkat pencarian (retrieval ranking). Makalah tersebut menunjukkan klaim ini keliru melalui tolok ukur ENT-310.
ENT-310 adalah tolok ukur sintetis yang dirancang khusus untuk mensimulasikan memori agen penjualan perusahaan. Tolok ukur ini terdiri dari 310 kueri, di mana 210 pertanyaan memiliki jawaban yang tersedia dalam memori dan 100 pertanyaan tidak dapat dijawab berdasarkan data yang ada.
Hasil pengujian menunjukkan bahwa pembaca RAG standar sudah mampu mencapai tingkat retensi dan kesegaran data yang sangat tinggi, berkisar antara 0,93 hingga 0,98. Angka ini mengukur apakah bukti relevan berhasil ditemukan oleh sistem. Karena angka tersebut mendekati saturasi, tim peneliti menyimpulkan bahwa masalah pengambilan ulang memori pada dasarnya telah terselesaikan.
Tantangan resolusi entitas
Meskipun pengambilan data efektif, sistem tetap gagal dalam tahap resolusi. Tantangan tersisa adalah menentukan entitas mana yang dimaksud oleh kueri pengguna, memahami status waktu dari fakta tersebut, serta memutuskan kapan sistem harus memberikan jawaban dan kapan harus menyatakan ketidakmampuan menjawab.
Banyak sistem pembanding (baselines) gagal membedakan antara jawaban yang benar, pembaruan data, klarifikasi, atau penolakan jawaban ketika bukti tidak cukup. Kegagalan ini menghasilkan jawaban yang tercampur, usang, atau bahkan halusinasi yang sulit dideteksi metrik konvensional.
Cara kerja DISCERN
Untuk mengatasi hal ini, DISCERN menerapkan dua fase terpisah:
- Fase Penulisan: Sistem membangun grafik provenansi bi-temporal yang bersifat aditif murni. Grafik ini mencatat setiap observasi ke dalam log peristiwa per aktor tanpa pernah menggabungkan entitas yang membingungkan atau menghapus nilai yang telah ditimpa. Fakta yang usang hanya dinonaktifkan secara lunak, memastikan bahwa sumber kebenaran tunggal tetap utuh dan dapat direkonstruksi.
- Fase Pembacaan: Sistem menggunakan permukaan alat tanpa LLM untuk menjalankan loop agensik yang menavigasi grafik memori tersebut. Sistem kemudian berkomitmen pada salah satu dari empat tindakan terminal yang dikunci.
Evaluasi dilakukan oleh dewan hakim berbasis LLM yang menilai dua aspek: kebenaran jawaban untuk pertanyaan yang dapat dijawab, dan klasifikasi keputusan antara menjawab atau abstain (menahan diri/tidak menjawab) untuk pertanyaan yang tidak dapat dijawab.
Hasil kinerja
Hasil utama menunjukkan bahwa DISCERN adalah sistem yang paling terkalsibrasi dalam hal abstensi, dengan skor F1 sebesar 0,924 dibandingkan maksimal 0,802 pada delapan sistem pembanding. Selain itu, DISCERN memimpin dalam kebenaran jawaban makro dengan skor 0,861 versus 0,806 untuk pembanding terkuat.
Peningkatan signifikan ini terutama didorong oleh kemampuan resolusi entitas yang mencapai 0,800, sementara tidak ada pembanding lain yang mampu menembus angka 0,40. Ketika diterapkan tanpa penyetelan tambahan pada korpus LoCoMo yang lebih luas, pipa kerja yang sama kembali memimpin dalam kebenaran jawaban makro dan tetap menjadi salah satu sistem terbaik dalam abstensi premis palsu.
Temuan ini menawarkan perspektif baru bagi pengembangan agen enterprise. Alih-alih terus meningkatkan algoritma pencarian vektor, arsitektur masa depan perlu fokus pada struktur penyimpanan yang mempertahankan jejak historis secara eksplisit agar resolusi konteks dapat dilakukan dengan presisi tinggi saat respons dihasilkan.
#llm-agent#memori-jangka-panjang#rag#disambiguasi#enterprise-ai