Google TPU 8tx gunakan host AMD EPYC Turin, TPU 8i Max gandakan bandwidth memori
Google meluncurkan TPU 8tx dengan host AMD EPYC Turin untuk confidential computing dan TPU 8i Max yang menggandakan bandwidth memori guna menangani beban kerja inferensi agen berbasis konteks besar.
Google memperluas portofolio Tensor Processing Unit (TPU) generasi kedelapan dengan dua sistem baru: TPU 8tx dan TPU 8i Max. Langkah ini menandai pertama kalinya Google memperkenalkan empat konfigurasi sistem berbeda dalam satu tahun, meskipun didasarkan pada dua desain chip inti.
TPU 8tx dibangun di atas silikon yang sama dengan TPU 8t yang berfokus pada pelatihan, namun dipasangkan dengan host berbasis CPU AMD EPYC generasi kelima “Turin” untuk menanamkan keamanan di lapisan perangkat keras. Sementara itu, TPU 8i Max menggabungkan dua chip 8i dalam satu paket untuk menangani jendela konteks yang sangat besar.
Confidential computing di TPU 8tx
TPU 8tx menyasar perusahaan dan pemerintah di sektor teregulasi yang menjalankan model frontier atau model proprietary bersamaan dengan data sensitif. Sistem ini menjawab kerentanan data saat diproses: biasanya data terenkripsi saat disimpan dan saat dikirim, tetapi harus dibuka di memori ketika komputer memprosesnya.
TPU 8tx menjaga data aktif itu tetap terlindungi lewat confidential computing, yang mengenkripsi data saat digunakan di dalam trusted execution environment (TEE) yang terisolasi. TEE berbasis perangkat keras menciptakan enclave aman yang melindungi kode dan data di dalamnya, bukan hanya dari mesin virtual lain, tetapi juga dari hypervisor dan penyedia cloud.
Untuk host CPU, Google memilih AMD EPYC Turin generasi kelima agar cocok dengan antarmuka PCIe Gen5 x16 milik TPU 8t. Konfigurasi dual-socket Turin menyediakan 128 lane Gen5, sehingga tidak ada oversubscription I/O di antara empat TPU dan NIC berkecepatan tinggi. Google menyebut host Gen6 seperti AMD EPYC Venice akan turun ke kecepatan Gen5 tanpa menambah bandwidth akselerator, sejalan dengan jadwal kualifikasi perangkat keras mereka pada 2027.
Topologi Boardfly dan latensi
TPU 8tx mengadopsi jaringan Boardfly dari TPU 8i yang berorientasi inferensi, bukan torus yang dioptimalkan untuk pelatihan. Topologi itu memperkecil jumlah lompatan maksimum antar chip, yang penting bagi agen multi-langkah yang melakukan banyak panggilan inferensi berurutan. Google mengklaim latensi hingga 2x lebih rendah dibanding TPU 8t dengan penalti performa yang mendekati nol.
Dibandingkan desain torus untuk pelatihan yang memiliki diameter lompatan jaringan maksimum enam belas, TPU 8i memakai topologi Boardfly dengan diameter maksimum tujuh. Perbedaan struktural ini menekan latensi untuk penalaran waktu nyata. Ilustrasi papan TPU 8tx yang dirilis Google menunjukkan empat chip akselerator dengan heatsink dan port konektor di sepanjang satu sisi, memberi gambaran tata letak tray yang memasangkan akselerator dengan CPU host Turin.
TPU 8i Max dan dinding memori
TPU 8i Max menyerang persoalan yang berbeda. Ketika banyak agen bekerja pada seluruh basis kode atau video berjam-jam secara bersamaan, bandwidth memori sering menjadi hambatan sebelum komputasi. Google menggabungkan dua chip TPU 8i berlatensi rendah ke dalam satu multi-chip package.
Hasilnya, TPU 8i Max memiliki komputasi dan SRAM on-chip dua kali lipat dibanding satu TPU 8i. Secara spesifik, sistem ini menawarkan 384 GB high-bandwidth memory (HBM), sekitar sepertiga lebih banyak daripada TPU 8i, sementara bandwidth HBM menjadi 17,2 TB/s dan SRAM on-chip menjadi 768 MB. Angka itu langsung menyasar dinding memori yang membatasi beban kerja agen dengan konteks besar.
ServeTheHome menegaskan bahwa jika data harus tetap berada di domain confidential computing, Google menyarankan pengguna tetap memakai TPU 8tx untuk inferensi dan penyajian, karena sistem itu mempertahankan topologi Boardfly berlatensi rendah yang dioptimalkan untuk tugas waktu nyata.
Konteks peluncuran dan posisi AMD
Peluncuran ini memperlihatkan Google memilah penawaran TPU untuk bagian-bagian berbeda dari tumpukan AI, bahkan untuk pelanggan yang berbeda. TPU 8tx tampak sebagai produk yang dikustomisasi untuk confidential computing, sedangkan TPU 8i Max dirancang untuk inferensi skala besar.
Bagi AMD, ini bukan kemenangan yang langsung menaikkan pangsa pasar CPU server sebesar 10 persen dalam semalam. Nilainya lebih pada dua hal: EPYC menang di sistem akselerator non-AMD, dan AMD menunjukkan kemampuan confidential computing-nya dengan memenangkan soket di hyperscaler besar.
Halaman sumber tidak menyebutkan tanggal ketersediaan umum, harga, atau pelanggan awal untuk kedua sistem. Yang disebut adalah jadwal kualifikasi perangkat keras Google pada 2027 sebagai konteks pemilihan host Gen5 ketimbang Gen6. Dengan tambahan TPU 8i Max, Google kini memiliki empat konfigurasi sistem dalam satu tahun, meski silikon dasarnya tetap dua: 8t untuk 8tx dan 8i untuk 8i Max.