Lewati ke konten
Chip & Komputer

Google luncurkan TPU 8i Max dan 8tx untuk agen dan inferensi rahasia

Google memperluas lini TPU generasi ke-8 dengan TPU 8i Max untuk agen konteks panjang dan TPU 8tx untuk inferensi terisolasi. Varian baru ini menggabungkan cip existing dengan arsitektur host AMD EPYC untuk keamanan tingkat tinggi.

Ilustrasi: Piksel (AI)

Google memperluas jajaran Tensor Processing Unit (TPU) generasi kedelapannya. Setelah pada April mengumumkan TPU 8t untuk pelatihan model besar dan TPU 8i untuk inferensi umum, perusahaan kini menambahkan dua varian baru: TPU 8i Max dan TPU 8tx. Keduanya bukan silikon baru dari nol, melainkan olahan ulang dari cip yang sudah ada untuk dua beban kerja yang berbeda.

TPU 8i Max pada dasarnya adalah dua cip TPU 8i yang digabung dalam satu paket. Tujuannya menargetkan beban kerja agen dengan konteks panjang, yaitu sistem yang memproses dokumen, kode, atau percakapan sangat panjang sekaligus. Sementara TPU 8tx dibangun di atas silikon yang sama dengan TPU 8t, tetapi diarahkan untuk inferensi yang aman dan terisolasi secara perangkat keras, termasuk bagi perusahaan teregulasi dan pemerintah.

Dua cip, satu paket

Menurut laporan Tom’s Hardware, penggabungan dua cip 8i dalam satu paket membuat TPU 8i Max menawarkan komputasi teoretis dua kali lipat. Yang lebih penting, dua kali lipat silikon itu masuk ke dalam jejak rak yang sudah ada. Google mengklaim kepadatan komputasi per kaki persegi dan per watt yang lebih tinggi.

Angka yang diturunkan dari spesifikasi 8i memberi gambaran kasar: sekitar 20,2 FP4 PFLOPS, SRAM 768 MB, dan bandwidth HBM sekitar 17,2 TB/s. Bandwidth memori yang berlipat ini disebut sebagai salah satu jalan menghindari keharusan pindah ke HBM4. Google menyebutnya sebagai “tembok memori”, yakni kemacetan bandwidth yang nyata ketika puluhan agen AI bekerja bersama di seluruh basis kode perangkat lunak.

Jendela konteks yang makin besar, dengan model yang menargetkan 1 juta token, berarti KV cache yang makin besar pula. Sebagian cache itu ditahan di SRAM, dan setiap token baru harus membaca ulang cache dari memori. Di titik inilah tambahan bandwidth HBM membantu. Pendekatan ini berbeda dari jalur Nvidia: menambah bandwidth dalam satu paket, bukan menambah jenis cip kedua untuk dekode dan lapisan penyimpanan untuk konteks.

Sebagai pembanding, Tom’s Hardware mencatat GPU Nvidia Rubin R200 berating 50 FP4 PFLOPS untuk inferensi dan 22 TB/s HBM4 per soket, sedangkan AMD MI455X mencapai 40 FP4 PFLOPS. Selisih komputasi memang masih ada, tetapi menyempit.

Host Arm diganti AMD EPYC

TPU 8tx membawa perubahan arsitektur yang mencolok. Jika TPU 8t dan 8i memakai host berbasis Arm Axion, 8tx justru memakai CPU AMD EPYC generasi kelima. Google tidak menjelaskan alasan pergantian ini secara rinci.

Petunjuknya ada pada daftar konfigurasi Confidential VM Google, yang memuat cip AMD dan Intel tanpa satu pun berbasis Arm. Private AI Compute, platform TPU yang dikeraskan Google, memakai lingkungan eksekusi tepercaya berbasis perangkat keras AMD untuk beban kerja CPU. Ini mengisyaratkan Google memakai komponen yang sudah berjalan di tumpukan rahasianya.

8tx juga mengadopsi jaringan Boardfly milik 8i, menggantikan torus 3D pada 8t. Google mengklaim Boardfly memberi latensi hingga dua kali lebih rendah dibanding TPU 8t dengan hampir tanpa penalti kinerja, meski ukuran yang dipakai untuk klaim itu tidak dijelaskan. Jaringan torus cocok untuk pelatihan karena cip umumnya bertukar data dengan tetangga secara terprediksi, sedangkan inferensi pada model campuran ahli (mixture of experts) dan penalaran bisa mengirim pesan kecil antar-cip berjauhan. Dengan Boardfly, lompatan dibatasi paling banyak tujuh hop, dibandingkan 16 hop pada 1.024 cip.

Keamanan sampai ke perangkat keras

Pada TPU 8tx, keamanan ditanam di perangkat keras melalui isolasi untuk mencegah pengintaian data sensitif, termasuk bobot model. Biasanya data harus dibuka di memori selama diproses, dan langkah itulah yang ingin ditutup oleh isolasi tersebut.

Cip ini menyasar wilayah yang memprioritaskan keamanan dan kerahasiaan, yakni perusahaan teregulasi dan pemerintah, terutama yang memakai model frontier atau proprietary. Operator semacam itu mungkin ingin menyempurnakan model dengan data privat, menyuling model besar menjadi lebih kecil, dan melatih agen mereka tanpa harus memindahkan data sensitif antar-cluster. Di sinilah agen dan keamanan bertemu dalam apa yang disebut eksekusi agen yang aman.

Tom’s Hardware mencatat bahwa pada April, Pentagon dan Google dilaporkan sempat membahas penggunaan TPU untuk lingkungan terklasifikasi, meski cip 8tx tidak disebut secara spesifik dalam pembahasan itu. Google sendiri sudah menjalankan penyajian konfidensial di TPU melalui Private AI Compute, yang menurut ringkasan teknis September mereka memiliki perlindungan setara lingkungan eksekusi tepercaya (TEE) pada umumnya. TPU 8tx tampak menjadi kemampuan itu yang dijadikan produk untuk pelanggan.

Alternatif di pasar mencakup Nvidia NVL72, dengan satu domain keamanan melintasi 72 GPU Rubin, 36 CPU Vera, dan interkoneksinya, serta Intel TDX yang menambahkan trusted I/O untuk data yang bergerak ke akselerator.

Klaim kinerja dan pihak ketiga

Google mengaitkan tumpukan vLLM-TorchTPU miliknya dengan capaian harga-kinerja terbaik pada tolok ukur InferenceX dan AgentX, yang menguji kerja pengodean agentik dan konteks panjang yang realistis. Namun angka pihak ketiga yang sudah terbit sejauh ini hanya untuk Ironwood, TPU generasi sebelumnya.

Dalam uji InferenceX SemiAnalysis pada September, menjalankan Qwen3.5 397B dalam FP8, Ironwood menghasilkan 50,4 persen lebih banyak token per dolar daripada Nvidia B200 dan 96,0 persen lebih banyak daripada B300 pada 20 token per detik per pengguna. Satu catatan, Ironwood tidak punya FP4 native. Hasil November yang lebih baru menunjukkan FP8 Ironwood mengalahkan FP4 GB300 NVL72 Nvidia pada model yang sama, dengan kinerja per dolar 1,67 kali lipat.

Dokumen rujukan SemiAnalysis, “The Iron(wood) Throne”, memperluas gambaran itu. Mereka merilis hasil AgentX multi-giliran pertama pada TPUv7 untuk empat model. Pada GLM-5.2 dengan vLLM AgentX (FP8), TPUv7 disebut sebagai opsi FP8 termurah, memberi 1,2 hingga 2,7 kali token per dolar dibanding B200, B300, dan MI355X pada 60 sampai 300 token per detik per pengguna. Pada Qwen3.5 dengan disaggregated serving llm-d, TPUv7 mengalahkan GB300 FP8 di setiap tingkat interaktivitas dan menyamai GB300 FP4 pada kualitas lebih tinggi.

Semua angka itu tetap berasal dari TPUv7, bukan generasi kedelapan. Belum ada hasil generasi baru yang bisa dibandingkan.

Yang belum diumumkan

Yang masih kurang cukup banyak: tabel spesifikasi lengkap, kapasitas HBM, ukuran pod, tanggal ketersediaan, harga, dan nama pelanggan untuk kedua sistem. Rincian atestasi, yakni kemampuan pelanggan memverifikasi kerahasiaan, juga belum ada untuk 8tx. Di halaman Cloud TPU Google, TPU 8tx dan 8i Max sama-sama terdaftar sebagai “coming soon” bersama 8i dan 8t.

Perusahaan juga menyebut pendekatan modular ini memungkinkan mereka menghadirkan sistem khusus dalam hitungan bulan, bukan tahun. Dengan meluncurkan dua sistem baru sekitar tujuh bulan setelah pasangan April, Google tampak ingin memutar sistem khusus jauh lebih cepat daripada sebelumnya. Kini tinggal pembuktiannya, lewat tolok ukur dan tanggal ketersediaan saat perangkat benar-benar sampai di tangan pelanggan.

#google#tpu#inferensi#keamanan#perangkat keras

Terkait

Ilustrasi: Piksel (AI)Keamanan Siber

Agen Gemini tembus pagar pengaman Google saat uji ketahanan

Uji keselamatan menunjukkan agen Gemini berulang kali mengakali pembatas keamanan untuk mengakses situs organisasi nyata. Trajectory Labs menangguhkan pengujian setelah agen berhasil menyamar sebagai karyawan dan melakukan injeksi SQL.

Imam · Keamanan Siber17 November 2026