Lewati ke konten
Riset & Model

AMMA usulkan chip memori-sentris untuk atensi konteks 1 juta token

Makalah AMMA, diterima di MICRO 2026, mengusulkan chip berpusat memori untuk atensi LLM konteks panjang. Penulis mengklaim latensi atensi 15,5 kali dan energi 6,9 kali lebih rendah dari H100.

Ilustrasi: Piksel (AI)

Sebuah makalah di arXiv berjudul AMMA mengusulkan arsitektur baru untuk menyajikan model bahasa besar (LLM) pada konteks sangat panjang, hingga sekitar satu juta token. Penulis berargumen bahwa semua sistem penyajian LLM saat ini menempatkan GPU di pusat, termasuk platform heterogen terbaru Nvidia. Menurut mereka, pemusatan itu menjadi hambatan ketika latensi atensi menentukan pengalaman pengguna.

Menurut abstraknya, AMMA mengganti die komputasi GPU dengan kubus HBM (memori berbandwidth tinggi yang ditumpuk) yang masing-masing dilengkapi unit pemrosesan dekat memori (processing-near-memory, PNM). Penulis menyebut langkah ini kira-kira menggandakan bandwidth memori yang tersedia. Hasil evaluasi, kata mereka, menunjukkan latensi atensi 15,5 kali lebih rendah dan konsumsi energi 6,9 kali lebih rendah dibanding GPU Nvidia H100.

Mengapa GPU masih di pusat

Masalah yang diangkat makalah ini ada pada tahap decode, saat model menghasilkan token satu per satu. Pada tahap itu, atensi lebih dibatasi kecepatan membaca memori daripada kemampuan menghitung. GPU dirancang untuk komputasi padat, sehingga banyak unitnya menganggur saat menjalankan pekerjaan semacam ini.

Makalah memberi contoh dengan GPU Rubin dari Nvidia, yang disebut menyediakan 795 FLOP per byte bandwidth memori. Atensi berkelompok-kueri (GQA) pada presisi FP8 hanya membutuhkan 32 FLOP per byte, selisih sekitar 25 kali. Angka Rubin tersebut dalam makalah disertai rujukan pustaka, bukan berasal dari eksperimen AMMA.

Dalam perhitungan yang sama, dua die komputasi Rubin disebut menempati 67% area paket dan menarik 73% daya desain, tetapi atensi hanya memakai 4% throughput puncaknya.

Rancangan AMMA dan maksud multi-chiplet

Multi-chiplet berarti beberapa keping kecil (chiplet atau die) dirakit dalam satu paket, alih-alih satu chip besar. Dalam AMMA, die komputasi GPU diganti kubus HBM yang logic die-nya (lapisan dasar yang memuat logika) berisi unit PNM. Menurut makalah, unit ini dapat memuat data, menjalankan operasi GEMM dan GEMV, serta berkomunikasi antar-die tanpa bergantung pada GPU induk. Artinya, kubus-kubus memori dalam satu paket bisa saling berkomunikasi langsung.

Penulis menyebut AMMA sebagai akselerator mandiri yang dapat diprogram, bukan sekadar pelengkap GPU. Mereka juga menyebut pijakan teknologinya: mulai HBM4, produsen memori membuat logic die pada proses 5 nanometer atau lebih kecil, sehingga tersedia kepadatan transistor untuk mikroarsitektur khusus.

Rancangan AMMA terdiri dari tiga bagian: mikroarsitektur logic die yang memanfaatkan bandwidth internal tiap kubus dengan daya dan area terbatas, skema paralelisme hibrida dua tingkat, serta alur komunikasi kolektif yang diurutkan ulang untuk mengurangi beban komunikasi antar-die di dalam chip. Penulis juga mengeksplorasi desain atas daya komputasi per kubus dan lebar pita tautan antar-die (D2D).

Angka dan pembanding

Klaim utama makalah adalah latensi atensi 15,5 kali lebih rendah dan energi 6,9 kali lebih rendah. Pembanding yang disebut abstrak adalah H100, bukan Rubin yang dipakai sebagai contoh pada bagian motivasi. Abstrak tidak merinci konfigurasi model, panjang konteks, ukuran batch, atau kerangka uji di balik angka tersebut.

Abstrak juga tidak menyebut apakah evaluasi memakai simulasi atau perangkat keras nyata. Pertanyaan ini penting karena menentukan seberapa dekat angka itu dengan kondisi produksi.

Sudut kritis

Angka 15,5 kali dan 6,9 kali adalah klaim penulis dan belum diuji pihak independen. Perbandingannya terbatas pada latensi atensi, bukan latensi layanan secara keseluruhan. Makalah sendiri menempatkan AMMA berdampingan dengan LPU (unit pemroses berlatensi sangat rendah) untuk lapisan FFN dan dengan GPU untuk beban berorientasi throughput, sehingga AMMA tampaknya bukan pengganti penuh tumpukan penyajian yang ada.

Makalah juga membedakan rancangannya dari karya PIM (pemrosesan dalam memori) dan PNM terdahulu seperti AttAcc dan NeuPIMs. Menurut penulis, unit pada karya-karya itu hanya berupa unit GEMV sederhana, sedangkan AMMA merupakan akselerator yang utuh. Klaim pembeda ini perlu dibandingkan langsung dengan karya-karya tersebut dalam kondisi uji yang sama.

Apa berikutnya

Makalah ini diterima di 59th IEEE/ACM International Symposium on Microarchitecture (MICRO 2026). Penulis pertamanya Zhongkai Yu, bersama 11 rekan: Haotian Ye, Chenyang Zhou, Ohm Rishabh Venkatachalam, Zaifeng Pan, Zhengding Hu, Junsung Kim, Won Woo Ro, Po-An Tsai, Shuyi Pei, Yangwook Kang, dan Yufei Ding. Halaman arXiv tidak mencantumkan afiliasi mereka.

Makalah tidak menyebut rencana produksi, mitra pabrikan, atau tanggal ketersediaan chip. Penulis menyebut kode tersedia di GitHub, sehingga pengujian independen mungkin dilakukan. Untuk saat ini, AMMA masih berupa rancangan riset yang diklaim unggul atas H100 pada atensi konteks panjang.

#gpu#arsitektur chip#llm#memori#atensi

Terkait

Ilustrasi: Piksel (AI)Riset & Model

Mengapa alignment agen tunggal gagal menular ke tim multi-agen

Makalah baru menemukan difusi tanggung jawab menyebabkan kegagalan transfer alignment dari agen LLM tunggal ke tim. Peneliti mengusulkan penunjukan agen keamanan khusus sebagai solusi efektif.

Nala · Riset17 November 2026