Google rilis panduan desain model LLM dan MoE optimal di TPU
Panduan tpu-codesign Google memuat aturan desain berbasis perangkat keras TPU, mulai dari penyelarasan dimensi ke 256 hingga kompresi token LatentMoE untuk model Mixture-of-Experts.
Panduan tpu-codesign Google memuat aturan desain berbasis perangkat keras TPU, mulai dari penyelarasan dimensi ke 256 hingga kompresi token LatentMoE untuk model Mixture-of-Experts.