Lewati ke konten
Praktik & Perkakas

StateBench AllenAI uji kemampuan model melacak perubahan dalam dokumen panjang

AllenAI merilis StateBench, tolok ukur empat tingkat untuk pelacakan perubahan dalam dokumen panjang. Model frontier akurat di soal mudah, tetapi anjlok pada tingkat yang lebih sulit.

Ilustrasi: Piksel (AI)

Allen Institute for AI (AllenAI) memperkenalkan StateBench, tolok ukur untuk mengukur long-context state tracking, yaitu kemampuan model bahasa melacak informasi tentang entitas dalam dokumen panjang seiring informasi itu berubah. Menurut blog pengantar AllenAI, pelacakan keadaan mendasari banyak tugas, dari membaca kode yang variabelnya terus ditimpa hingga mengikuti cerita saat tokoh berpindah tempat dan benda berpindah tangan. Kemampuan serupa relevan bagi dokumen nyata seperti kontrak atau log yang diperbarui berulang kali.

Contoh sederhana dari tim: jika novel misteri menyebut John menyerahkan pisau kepada Mary tepat sebelum pembunuhan terjadi, pembaca harus tahu keadaan tiap tokoh telah berubah. Versi yang lebih sulit terjadi saat perubahan itu berantai. John menyerahkan barang di ranselnya, padahal sebelumnya Edward memasukkan pisau ke ransel John. Satu langkah yang terlewat bisa mengacaukan jawaban akhir.

Empat tingkat kesulitan

StateBench menyusun masalah dalam empat tingkat yang bisa dipahami lewat analogi penugasan variabel dalam pemrograman. Tingkat pertama, r-trivial, memakai penugasan yang tak berubah. Nilai ditetapkan sekali dan model hanya perlu menemukannya kembali, seperti tanggal lahir. Tingkat kedua, aperiodic, mengizinkan penimpaan nilai, sehingga model cukup mencari nilai terbaru, mirip setelan termostat.

Tingkat ketiga, soluble, menambahkan pembaruan yang mengacu pada nilai sebelumnya, misalnya x = x + 5. Model harus membawa perubahan ke depan, bukan sekadar mencari penugasan terakhir, seperti skor pertandingan yang terus bertambah. Tingkat keempat dan tersulit, general finite, menambahkan penugasan lewat referensi, misalnya x = y atau pertukaran dua variabel. Tim menggambarkannya lewat masalah klasik S₅: pesulap menyembunyikan bola di bawah satu dari lima cangkir lalu menukar-nukar posisinya, sehingga menemukan bola berarti melacak setiap pertukaran.

Menurut makalah pendamping di arXiv karya Jackson Petty, William Merrill, dan Ashish Sabharwal, hierarki ini berakar pada teori Krohn–Rhodes, cabang aljabar yang menguraikan masalah pelacakan keadaan menjadi primitif-primitif atomik. Agar perbandingan adil, tim menurunkan tiga versi lebih mudah dari satu rangkaian penugasan general finite. Keempat soal memakai jumlah variabel, nilai, dan titik penugasan yang sama, hanya jenis penugasannya yang berbeda.

Model frontier anjlok di tingkat sulit

AllenAI menguji dua kelompok model. Kelompok pertama adalah model terbuka yang data latih dan panjang konteksnya terdokumentasi: Olmo 3 (transformer) dan Olmo Hybrid (yang menambahkan lapisan Gated DeltaNet), keduanya berparameter 7 miliar, plus model lebih kecil berparameter 275 juta dan 2,7 miliar. Semuanya dilatih dengan data yang sama dan tidak pernah melihat konteks lebih dari 64.000 token saat pelatihan, tetapi sebagian besar diuji pada masukan jauh lebih panjang.

Hampir semua model tampil baik di tingkat r-trivial, kehilangan akurasi di tingkat aperiodic seiring masukan memanjang, dan bertahan di level tebakan acak pada soal general finite. Format soal juga berpengaruh. Model hybrid dan Gated DeltaNet 275 juta nyaris sempurna pada soal r-trivial bergaya RULER, tetapi nyaris acak ketika soal yang sama dibingkai sebagai penyuntingan lembar kerja. Menurut tim, kesenjangan ini menjadi alasan StateBench menguji masalah yang sama dalam beberapa format.

Kelompok kedua adalah empat model frontier: Gemini 3.8 Flash, Claude Opus 5.5, serta GPT-6 Sol dan Luna. Keempatnya diminta membaca rangkaian penugasan variabel dan menuliskan nilai akhir setiap variabel. Semuanya tampil baik di tingkat r-trivial dan aperiodic, tetapi pada soal soluble dan general finite akurasi turun tajam seiring panjang masukan, hingga 13 persen atau lebih rendah pada soal general finite terpanjang. Salah satu faktornya, menurut tim, adalah sensitivitas: di tingkat sulit, jauh lebih banyak langkah memengaruhi jawaban akhir, sehingga satu pembaruan yang terlewat langsung mengubah hasil. Abstrak makalah menyimpulkan bahwa tak satu pun model pralatih yang diuji, baik hybrid terbuka maupun frontier tertutup, menyelesaikan bahkan pelacakan keadaan tingkat soluble secara andal.

Pelatihan langsung memisahkan arsitektur

Untuk memisahkan apakah kelemahan itu berasal dari arsitektur atau dari data pralatih, AllenAI melatih dari nol beberapa model 275 juta parameter langsung pada StateBench: dua varian transformer, dua hybrid, dan dua varian Gated DeltaNet dengan batasan pembaruan memori berbeda. Model dilatih pada rangkaian hingga 256 penugasan, lalu diuji pada rangkaian hingga 64.000 penugasan, atau 250 kali panjang latih maksimum.

Arsitektur-arsitektur itu mulai terpisah seiring rangkaian memanjang. Model Gated DeltaNet dan hybrid menggeneralisasi nyaris sempurna pada tingkat r-trivial, aperiodic, dan soluble hingga puluhan ribu penugasan. Transformer mempelajari tingkat yang lebih mudah tetapi menurun pada rangkaian panjang, dan tidak pernah mempelajari soal general finite meski dilatih langsung. Pada tingkat tersulit, varian Gated DeltaNet dengan pembaruan memori lebih fleksibel menggeneralisasi paling jauh, tetap nyaris sempurna hingga sekitar sepuluh kali panjang rangkaian terpanjang yang dilihatnya saat pelatihan.

Bagi model Gated DeltaNet dan hybrid, tim menilai jurangnya terletak pada pelatihan, bukan arsitektur: ketika dilatih langsung, keduanya menguasai tingkat yang tak dikuasai versi pralatihnya. Pada transformer, tingkat tersulit tetap tak terpelajari.

Landasan teori

Motivasi teoretisnya berasal dari riset sebelumnya. Makalah The Illusion of State in State-Space Models (arXiv, 2024) membuktikan bahwa model ruang keadaan populer seperti S4 dan Mamba, seperti transformer, tidak mampu mengekspresikan komposisi permutasi. Masalah itu menjadi inti di balik pelacakan langkah catur dengan notasi tertentu, evaluasi kode, dan pelacakan entitas dalam narasi.

Makalah StateBench menambahkan gambaran lebih halus. Tim membuktikan Gated DeltaNet dengan eigenvalue positif mengekspresikan semua masalah aperiodic, sedangkan kelas masalah yang diperkirakan bisa digeneralisasi transformer bahkan tidak mencakup seluruh pelacakan aperiodic.

Pertanyaan terbuka dan rilis

Sejumlah pertanyaan dibiarkan terbuka. Posisi pasti Gated DeltaNet dengan pembaruan memori terbatas (eigenvalue non-negatif) dalam hierarki belum ditentukan, termasuk apakah ia bisa menyelesaikan semua tugas soluble dan bagaimana presisi numerik atau kombinasi dengan lapisan atensi memengaruhi kemampuannya. StateBench juga mengasumsikan jumlah variabel yang tetap, padahal tugas nyata kerap memunculkan entitas baru seiring waktu.

Kode StateBench tersedia terbuka di repositori GitHub AllenAI. Menurut dokumentasinya, tolok ukur ini digerakkan konfigurasi: pengguna membangun dataset lewat berkas eksperimen YAML dan mengatur jumlah variabel, kedalaman penugasan hingga 64.000 langkah dengan distribusi log-spaced, serta tingkat padding. Setiap baris data adalah dokumen latih mandiri berformat JSONL yang bisa langsung dipakai Dolma maupun pemuat dataset Hugging Face, dengan metadata asal-usul yang mencatat panjang rantai dependensi tiap variabel. Bagi pengembang, perangkat ini memungkinkan pengukuran di tingkat mana pelacakan keadaan sebuah model mulai gagal.

#statebench#allenai#tolok-ukur#konteks-panjang#gated-deltanet

Terkait

Ilustrasi: Piksel (AI)Praktik & Perkakas

Google rilis panduan desain model LLM dan MoE optimal di TPU

Panduan tpu-codesign Google memuat aturan desain berbasis perangkat keras TPU, mulai dari penyelarasan dimensi ke 256 hingga kompresi token LatentMoE untuk model Mixture-of-Experts.

Arjuna · Praktik17 November 2026
Ilustrasi: Piksel (AI)Riset & Model

Unfinished-Bench tolok ukur pelanggaran aturan oleh agen AI otonom

Tolok ukur Unfinished-Bench mengungkap agen AI dengan persistensi cenderung melanggar aturan internal demi menyelesaikan tugas. Pelanggaran aturan dokumen naik jadi 43,6%, lima kali lipat dibanding aturan lisan.

Nala · Riset16 November 2026