AWS bagikan panduan deteksi silent data corruption GPU di SageMaker HyperPod
Panduan teknis AWS menambahkan tiga pemeriksaan ke loop PyTorch DDP untuk mendeteksi silent data corruption, melokalisasi node GPU rusak, dan memicu pemulihan otomatis di SageMaker HyperPod.
Silent data corruption (SDC) terjadi ketika perangkat keras seperti GPU mengembalikan angka yang salah tetapi masuk akal, tanpa memicu error apa pun. Dalam pelatihan terdistribusi, angka keliru itu bisa mengalir ke gradien dan bobot setiap replika model. Loss masih tampak normal berjam-jam, dan ketika tim menyadari ada divergensi tak terjelaskan atau model yang lebih lemah, komputasi sudah terlanjur terpakai.
Amazon Web Services (AWS) memaparkan persoalan ini dalam panduan teknis di blog machine learning-nya, lalu menunjukkan cara menambahkan tiga pemeriksaan ke loop pelatihan PyTorch DistributedDataParallel (DDP). Ketika salah satu pemeriksaan menyala, skrip memetakan rank yang dicurigai ke node-nya, menghentikan penyebaran korupsi, dan menyerahkan node itu ke mekanisme pemulihan otomatis SageMaker HyperPod untuk diganti.
Mengapa pemeriksaan yang ada tidak menangkapnya
Menurut panduan AWS, SDC lahir dari cacat produksi, misalnya transistor marginal yang lolos penyaringan vendor, dan dari penuaan silikon pada unit komputasi tertentu, paling sering pada lane multiply-accumulate di tensor core, tepatnya perangkat keras yang paling sering dipakai pelatihan model.
Sirkuit marginal itu menghitung benar hampir sepanjang waktu dan salah hanya di bawah tekanan: suhu tinggi, tegangan turun, atau pola operand tertentu. Karena jalur logika aritmetika tidak memiliki ECC atau paritas seperti memori, hasil yang keliru tidak pernah ditandai. Pemeriksaan integritas yang lazim pun menjaga batas yang berbeda: ECC menjaga memori, error Xid dari driver GPU muncul hanya saat GPU mendeteksi gangguan, deep health check DCGM berjalan di node menganggur di luar pekerjaan pelatihan, checksum NVLink/PCIe/EFA hanya memverifikasi byte tiba sesuai kiriman, dan checksum checkpoint bisa lolos meski isinya sudah tercemar. SDC harus ditangkap dari hasil komputasinya sendiri.
Blog AWS mengutip laporan Meta dalam pracetak Llama 3 405 miliar parameter: selama 54 hari pada hingga 16 ribu GPU H100, Meta mengaitkan 6 dari 419 gangguan pekerjaan tak terduga dengan silent data corruption. Angka itu hanya mencakup kasus yang menghentikan pekerjaan dan berhasil dilacak ke SDC.
Tiga pemeriksaan di dalam loop DDP
Pemeriksaan pertama adalah cek gradien non-finit. Setiap langkah, tiap GPU memeriksa gradien lokalnya sendiri setelah backward pass untuk menangkap NaN, Inf, atau overflow, lalu memeriksa lagi gradien hasil all-reduce sebelum pembaruan bobot diterapkan. Pemeriksaan ini menangkap kesalahan yang berubah menjadi NaN atau Inf, tetapi buta terhadap angka salah yang tetap finit.
Pemeriksaan kedua adalah audit ring replay, yang berjalan pada langkah audit tertentu sebelum optimizer step. Setiap GPU menghitung ulang micro-batch milik rank di node lain, lalu membandingkan loss secara bit-per-bit dan sidik jari gradien setiap parameter bila kernel deterministik dipakai. Karena membandingkan antarnode, pemeriksaan ini hanya menyala jika node yang menghitung ulang dan node asal tidak menghasilkan angka yang sama, sehingga node yang menyimpang bisa ditunjuk. Menurut dokumentasi kode pendampingnya di repositori awslabs, satu rank memutar ulang micro-batch rank berjarak satu node, dan pada tiga node polanya melingkar kembali ke node pertama.
Pemeriksaan ketiga membandingkan sidik jari bobot. Setelah optimizer step, setiap N langkah dan pada setiap langkah checkpoint, semua salinan bobot dibandingkan; salinan yang berbeda dari mayoritas ketat akan ditunjuk. Sidik jari dihitung sebagai dua jumlah 64-bit per tensor, atas pola bit mentah dan pola bit berbobot posisi. Dokumentasi kode menyebut kesamaan sidik jari sebagai bukti kuat, bukan bukti matematis. Pemeriksaan ini menangkap kesalahan pada langkah optimizer dan bobot tersimpan di satu salinan, tetapi tidak melihat kesalahan jalur komputasi yang menyebar identik ke semua replika, dan tidak berlaku untuk bobot yang di-shard seperti pada ZeRO atau FSDP.
Urutannya tetap dalam setiap langkah: cek gradien dan ring replay berjalan sebelum pembaruan, cek sidik jari bobot berjalan sesudahnya dan menahan penyimpanan checkpoint. Jika cek pertama atau kedua menyala, langkah tersebut tidak diterapkan, meski langkah-langkah sejak audit terakhir yang lolos mungkin sudah terlanjur diterapkan.
Melacak node dan memulihkannya
Pada klaster HyperPod yang diorkestrasi Amazon Elastic Kubernetes Service (EKS), nama node Kubernetes memuat ID instans, sehingga memetakan rank yang dicurigai ke node menjadi sekadar pencarian. Dokumentasi kode menyebut handler alarm dapat membaca spec.providerID node untuk menemukan instans EC2-nya. Setelah node diketahui, pekerjaan dihentikan dan node di-cordon, lalu metrik GPU node itu diperiksa di dasbor observabilitas HyperPod.
Panduan AWS menekankan korelasi telemetri DCGM hanya mengonfirmasi gangguan yang juga muncul di penghitung perangkat keras; telemetri yang bersih tidak otomatis membebaskan node. Deep health check lewat StartClusterHealthCheck bersifat triase, bukan pembuktian. Penggantian node dilakukan setelah peninjauan, dan pelatihan dilanjutkan dari checkpoint yang disimpan sebelum jendela kecurigaan. AWS mengingatkan penggantian node menghancurkan volume root dan sekunder, termasuk data di NVMe lokal, sehingga checkpoint harus berada di penyimpanan bersama seperti FSx for Lustre atau S3.
Panduan ini mensyaratkan klaster HyperPod dengan minimal tiga node GPU, pekerjaan DDP yang setiap replika menjalankan optimizer step sendiri dengan pipeline data yang bisa membangun ulang micro-batch rank mana pun, akses kubectl, serta izin IAM untuk sagemaker:StartClusterHealthCheck dan sagemaker:BatchReplaceClusterNodes. Dokumentasi resmi SageMaker menyebut HyperPod memang menyediakan health check dasar, deep health check, agen pemantauan kesehatan, dan auto-resume pekerjaan PyTorch, tetapi fitur-fitur itu tidak melihat SDC karena perangkat keras tidak melaporkan apa pun.
Batas pengujian dan langkah berikutnya
AWS menguji ketiga pemeriksaan dengan kesalahan yang disuntikkan lewat perangkat lunak pada klaster HyperPod berisi 4 instans ml.p5.48xlarge, atau 32 GPU NVIDIA H100, dan mengulang setiap uji pada tiga instans, jumlah minimum yang dibutuhkan pemeriksaan. Repositori pendamping menegaskan seluruh data eksperimen bersifat sintetis dan setiap kesalahan disuntikkan lewat perangkat lunak. Eksperimen itu menunjukkan tiap pemeriksaan berperilaku sesuai rancangan, tetapi tidak menunjukkan seberapa sering perangkat keras nyata gagal. Repositori juga tidak menjalankan respons alarm seperti cordon dan penggantian node; bagian itu murni prosedur di panduan.
Model uji yang dipakai berukuran 953 juta parameter bergaya Llama. Bagi tim yang menjalankan pelatihan panjang di klaster GPU, intinya sederhana: pemeriksaan integritas infrastruktur tidak cukup, dan sebagian tanggung jawab deteksi harus pindah ke kode pelatihan. Langkah lanjutannya adalah menyalin sdc_order.py ke samping skrip pelatihan, menyiapkan checkpoint di penyimpanan bersama, dan menyambungkan handler alarm ke API penggantian node HyperPod.
#silent data corruption#gpu#sagemaker hyperpod#pytorch#pelatihan terdistribusi