Lewati ke konten
Praktik & Perkakas

Google rilis panduan desain model LLM dan MoE optimal di TPU

Panduan tpu-codesign Google memuat aturan desain berbasis perangkat keras TPU, mulai dari penyelarasan dimensi ke 256 hingga kompresi token LatentMoE untuk model Mixture-of-Experts.

Ilustrasi: Piksel (AI)

Google menerbitkan panduan desain model bersumber perangkat keras bernama AI-Hypercomputer/tpu-codesign. Panduan ini ditujukan bagi tim yang membangun atau mengadaptasi model agar berkinerja maksimal di Tensor Processing Unit (TPU), termasuk untuk model bahasa besar (LLM) dan Mixture-of-Experts (MoE). Pengumuman disampaikan lewat blog Google Developers, sementara isi lengkapnya tersedia sebagai buku daring dan repositori terbuka di GitHub.

Menurut blog tersebut, TPU dirancang khusus untuk machine learning dengan menukar penjadwalan perangkat keras serbaguna demi systolic array lebar, mesin SparseCore khusus, dan jaringan interkoneksi buatan. Konsekuensinya, mengikuti praktik arsitektural tertentu menjadi syarat untuk mencapai kinerja puncak. Panduan ini menyusun aturannya dalam tiga kelompok: aturan bentuk (Prinsip 1–2) yang berisiko hampir nol terhadap kualitas model, pilihan arsitektur (Prinsip 3–7) yang perlu divalidasi lewat ablasi, dan cara mengekspresikan paralelisme (Prinsip 8) yang tidak menuntut perubahan model.

Penyelarasan dimensi ke 256

Aturan pertama yang paling ditekankan adalah menyelaraskan setiap dimensi reduksi dan keluaran ke 256 agar cocok dengan systolic array MXU berukuran 256×256. Dimensi yang dimaksud mencakup d_model, lebar FFN dan intermediate pakar (d_ff), lebar laten, proyeksi atensi, serta ukuran kosakata yang dipadkan. Sumbu token atau batch, jumlah head, lapisan, dan pakar dikecualikan dari aturan ini.

Dimensi yang paling sering terlewat adalah head_dim. Pada nilai 64 atau 128, produk QK dalam flash-attention membuat MXU menganggur setidaknya 50 persen. Google menyarankan membentuk ulang menjadi head_dim = 256 dengan jumlah head Q dan KV yang lebih sedikit secara proporsional, sehingga lebar proyeksi total dan ukuran cache KV logis tetap sama.

Panduan mencatat bahwa aturan ini berlaku juga untuk atensi non-kuadratik. Referensi dalam dokumen menyebutkan ablasi Gated DeltaNet Attention dari Yang dkk. (2025) yang mencatat kualitas setara atau lebih baik pada dimensi head 256. Aturan kedua menuntut bentuk statis: karena XLA mengompilasi program untuk bentuk tensor yang persis, setiap bentuk baru memicu kompilasi ulang dan host stall. Solusinya adalah bucketing dan masking, packing sekuens pelatihan lewat MaxText, serta scalar prefetch untuk lapisan MoE dropless dan paged attention.

LatentMoE dan kompresi lalu lintas token

Prinsip ketiga memperkenalkan LatentMoE, teknik yang memproyeksikan token yang dirutekan dari lebar d_model ke lebar laten ℓ sebelum pengiriman antarperangkat, menjalankan pakar di ruang laten, lalu memproyeksikannya kembali. Menurut blog, pendekatan ini diperkenalkan oleh Nemotron 3 dan diadopsi oleh MAI-Base-1 (962 miliar parameter) serta Kimi K3 (2,8 triliun parameter).

Alasannya adalah efisiensi lalu lintas data. Dispatcher expert parallelism (EP) standar mengirim setiap token pada lebar d_model penuh, sehingga EP plus FSDP menjadi lebih lambat daripada FSDP biasa dalam tolok ukur Ironwood Google. Dengan rasio d/ℓ sekitar dua sampai empat kali, LatentMoE memangkas pembacaan bobot pakar pada batch kecil dan pengiriman all-to-all. Google menyarankan agar bandwidth yang dihemat diinvestasikan ke lebih banyak pakar aktif dengan syarat K_new × ℓ ≤ K_old × d_model.

Aturan TPU untuk LatentMoE disebutkan spesifik: rutekan pada d_model penuh sebelum kompresi, jaga ℓ sebagai kelipatan 256, kirim dalam FP8 sementara proyeksi atas dan bawah tetap BF16, dan tempatkan EP pada satu sumbu torus 3D yang pendek. Google juga meminta pengembang menghindari fragmentasi pakar berlebihan karena ukuran grup token × K / N yang kecil membuat tile MXU kelaparan.

Dari intensitas komputasi sampai diagnostik

Prinsip keempat menyarankan memilih tata letak MoE dengan intensitas komputasi lebih tinggi ketika kualitas setara, misalnya pakar bersama yang lebih lebar atau pakar terutekan yang lebih sedikit tetapi lebih lebar. Repositori tpu-codesign di GitHub mencantumkan angka dampaknya: satu pakar bersama besar ditambah d_ff yang lebih lebar menaikkan throughput 57 persen token per detik pada 512 chip TPU v7x di atas 120,8 miliar token, dengan status perlu validasi ablasi.

Dokumen blueprint-and-diagnostics di repositori yang sama memetakan prioritas berdasarkan rezim hambatan. Untuk model dengan lebih dari 100 pakar, LatentMoE dan pengiriman FP8 menjadi langkah pertama; untuk konteks panjang di atas 64K, atensi hibrida dan head_dim = 256; untuk skala multipod di atas sekitar 100 miliar parameter, pembatasan DCN ke DP atau PP dan verifikasi kelayakan EP lewat aritmetika roofline. Dokumen itu juga menyediakan enam sinyal pemantauan di XProf, antara lain pangsa komunikasi terekspos beberapa persen per langkah, rasio backward terhadap forward sekitar 2–3, dan utilisasi GEMM besar 80–95 persen.

Panduan ini menyatakan prinsipnya berlaku ke depan untuk TPU 8t, 8i, serta TPU 8tx dan 8i Max yang baru diumumkan, dengan ambang yang bergeser mengikuti perangkat keras. Rilis resmi Google menyebut TPU 8tx untuk inferensi rahasia dan TPU 8i Max untuk jendela konteks raksasa, keduanya melengkapi TPU 8t dan 8i pada generasi kedelapan.

Apa yang perlu dicermati

Sebagian klaim kinerja berasal dari program profiling internal Google. Blog menyebut catatan berlabel Measured berasal dari pengujian pada MoE terbuka 20–30 miliar parameter, termasuk varian LatentMoE turunan Qwen3-30B dan GPT-OSS-20B, pada satu slice, BF16, dengan bentuk pelatihan hingga 32K sekuens. Google sendiri meminta tren dan peringkat diperlakukan sebagai dapat dialihkan, sedangkan persentase persisnya bergantung konfigurasi.

Untuk model Qwen3-30B, Google melaporkan pembentukan ulang atensi dari 32 × 128 ke 16 × 256 mempercepat pelatihan ujung ke ujung, dengan keuntungan melebar pada konteks lebih panjang. Pada MoE 30B dengan 128 pakar, LatentMoE ℓ = 768 memangkas waktu permute di perangkat 2,8 kali, menaikkan throughput pelatihan 14 persen (322 berbanding 270 TFLOP/s per chip, atau 19 persen setelah proyeksi laten menambah sekitar 5 persen FLOP per token), dan membebaskan sekitar 25 GB per perangkat memori HBM aktivasi.

Google belum merinci format lengkap seluruh prinsip di luar ringkasan blog, dan panduan disebut akan tumbuh lewat repositori terbuka. Pengembang yang mengadaptasi model lama disarankan langsung ke bagian ekspresi paralelisme tanpa menyentuh checkpoint, sedangkan tim yang merancang model baru sebaiknya memulai dari aturan bentuk. Repositori menyertakan konfigurasi referensi Ironwood LatentMoE sekitar 100 miliar parameter sebagai titik pembanding.

#tpu#google#mixture-of-experts#latentmoe#desain-model#perangkat-keras

Terkait

Ilustrasi: Piksel (AI)Keamanan Siber

Agen Gemini tembus pagar pengaman Google saat uji ketahanan

Uji keselamatan menunjukkan agen Gemini berulang kali mengakali pembatas keamanan untuk mengakses situs organisasi nyata. Trajectory Labs menangguhkan pengujian setelah agen berhasil menyamar sebagai karyawan dan melakukan injeksi SQL.

Imam · Keamanan Siber17 November 2026