Lewati ke konten
Praktik & Perkakas

Cara jalankan inferensi DLA native dari Python di Jetson AGX Orin dengan cuDLA

Panduan teknis NVIDIA menunjukkan cara menjalankan inferensi jaringan saraf di Deep Learning Accelerator Jetson AGX Orin langsung dari Python menggunakan cuDLA, menghemat daya dan membebaskan GPU.

Ilustrasi: Piksel (AI)

NVIDIA memaparkan alur memakai Deep Learning Accelerator (DLA) di Jetson AGX Orin langsung dari Python lewat modul cuda.bindings.cudla, tanpa perlu menulis kode C++. Jalur ini relevan bagi pengembang aplikasi AI edge yang harus menjalankan beberapa jaringan saraf sekaligus dalam batas daya dan komputasi yang ketat.

Menurut panduan di blog developer NVIDIA, DLA adalah akselerator fixed-function yang mengeksekusi operasi jaringan saraf yang didukung. Karena tugas inferensi dialihkan dari GPU ke DLA, aplikasi bisa lebih hemat daya dan GPU tetap tersedia untuk tugas lain. cuDLA sendiri adalah API runtime untuk mengelola eksekusi di akselerator tersebut: membuat perangkat DLA, memuat jaringan terkompilasi, mendaftarkan buffer memori, dan mengirim tugas inferensi.

Apa itu DLA di Jetson AGX Orin

DLA merupakan sirkuit terintegrasi khusus aplikasi yang efisien menjalankan operasi tetap seperti konvolusi dan pooling, yang lazim dalam arsitektur jaringan saraf modern. Menurut penjelasan NVIDIA di halaman pengenalan DLA, akselerator ini tidak mendukung sebanyak lapisan yang didukung GPU, tetapi cakupannya cukup luas untuk banyak model populer, termasuk model pra-latih di TAO Toolkit dari deteksi objek hingga pengenalan aksi.

Halaman produk DLA menyebut keluarga Orin memiliki hingga dua DLA generasi kedua, dan dua DLA di Orin diklaim menawarkan hingga 9 kali performa dua DLA di Xavier. NVIDIA juga menyatakan DLA mencapai efisiensi daya hampir 2,5 kali GPU. Throughput DLA umumnya lebih rendah daripada GPU, tetapi sifatnya hemat daya dan bisa dipakai bersamaan dengan GPU untuk menambah throughput total.

Bagi aplikasi edge, kemampuan ini penting karena perangkat sering harus menjalankan beberapa jaringan dalam anggaran daya terbatas. Postmates dan Cainiao ET Lab disebut NVIDIA sebagai contoh yang memakai DLA bersama GPU di Jetson AGX Xavier untuk robot pengantar dan kendaraan logistik.

Dari C++ ke Python lewat cuda.bindings.cudla

Modul cuda.bindings.cudla diperkenalkan di cuda-bindings 13.3.0 sebagai bagian proyek CUDA Python. Modul ini adalah lapisan tipis yang dihasilkan Cython di atas API C++ cuDLA untuk alur kerja mode hibrida, yaitu mode ketika CUDA stream mengoordinasikan eksekusi DLA dengan pekerjaan GPU. Menurut panduan itu, modul mengekspos 13 fungsi, sembilan tipe data, dan delapan enum untuk mode hibrida.

Di Jetson Orin, JetPack menyediakan runtime libcudla.so sehingga tidak ada SDK cuDLA terpisah yang perlu dipasang. Pengembang cukup memasang binding Python dengan perintah pip install "cuda-bindings>=13.3.0". JetPack versi bawaan mungkin memakai Python lebih lama dari 3.10, batas minimum yang dibutuhkan, sehingga panduan menyarankan memasang Python 3.12 lewat PPA deadsnakes bila perlu.

TensorRT hanya diperlukan untuk mengompilasi model terlatih menjadi loadable DLA. Untuk menjalankan loadable yang sudah ada, cukup libcudla.so dari JetPack. NVIDIA juga menyebut API Python cuDLA yang sama berlaku di laptop NVIDIA RTX Spark, sehingga cakupan DLA meluas ke perangkat Windows AI di luar platform tertanam.

Sembilan langkah siklus inferensi

Panduan itu merangkum siklus inferensi lengkap dalam sembilan langkah: menginisialisasi CUDA, membuat perangkat DLA dalam mode hibrida, memuat loadable dari memori, memeriksa deskriptor tensor, mengalokasikan buffer GPU, mendaftarkannya ke cuDLA, menyalin data masukan hasil prapemrosesan, mengirim tugas pada CUDA stream, lalu menyinkronkan untuk membaca hasil.

Pemilihan mode hibrida lewat cudla.Mode.CUDA_DLA memungkinkan kernel prapemrosesan GPU, inferensi DLA, dan pascapemrosesan GPU diantrekan pada stream yang sama dan dieksekusi berurutan. Rilis ini belum mendukung mode mandiri yang membutuhkan buffer NvSci dan primitif sinkronisasi; permintaan ke mode itu akan memunculkan CudlaError(ErrorUnsupportedOperation).

Loadable dimuat sebagai objek bytes Python langsung ke module_load_from_memory, tanpa jalur berkas. Sebelum mengalokasikan memori, aplikasi dapat menanyakan jumlah tensor masukan dan keluaran serta deskriptornya, yang memuat ukuran buffer, bentuk tensor (n, c, h, w), nama, format data, dan stride. Semua panggilan cuDLA memunculkan pengecualian Python saat gagal, sehingga pembersihan try/finally dan penanganan galat per tingkat lewat enum cudla.Status bisa dilakukan.

Contoh alur kerja dan kompilasi model

Panduan memakai contoh klasifikasi gambar. Untuk membuat loadable FP16 CHW16, TensorRT trtexec dipanggil dengan model ONNX bertipe FP16 berdimensi masukan tetap, flag --useDLACore=0 untuk DLA pertama di Orin, --inputIOFormats=chw16 dan --outputIOFormats=chw16, serta --buildDLAStandalone agar loadable tidak membutuhkan TensorRT saat inferensi. Contoh itu menyasar TensorRT 11.4.1 dengan CUDA 13.4 Update 1 pada JetPack 7.2.2 atau lebih baru. TensorRT 11 mengambil presisi dari tipe tensor model, sehingga flag --fp16 dan --int8 tidak lagi didukung.

Tidak semua lapisan jaringan kompatibel dengan DLA, dan prapemrosesan graf ONNX untuk memangkas lapisan awal dan akhir yang tidak kompatibel sering diperlukan. Panduan menyebut alur Python-nya bisa dipakai dengan berkas .bin atau .nvdla apa pun yang dihasilkan.

Contoh end-to-end di repositori GitHub NVIDIA/Deep-Learning-Accelerator-SW memakai ResNet-50-v1-12 dari ONNX Model Zoo. Skrip setup_models.sh mengunduh model, menjalankan prepare_resnet50_dla.py, lalu membangun loadable FP16 CHW16 mandiri di DLA core 0. Hanya backbone yang dikonversi ke FP16, sementara stem dan head di GPU tetap FP32. Pipeline hibridanya menjalankan stem di GPU lewat ONNX Runtime dengan CUDA Execution Provider, backbone di DLA lewat cuDLA, dan head kembali di GPU. Perintah run.py menyediakan opsi --dla-core, --validate, dan --verbose; --validate menjalankan inferensi hibrida lalu seluruh model di GPU untuk perbandingan manual, tanpa pemeriksaan toleransi numerik otomatis. Hasil yang diharapkan untuk gambar anjing bawaan adalah top-1 golden retriever sekitar 98,1 persen.

Sudut kritis

Panduan ini memperluas akses ke DLA, tetapi tidak menghapus batas teknisnya. DLA tetap fixed-function dengan dukungan lapisan lebih sedikit daripada GPU, sehingga pemangkasan graf dan penyesuaian model menjadi bagian tak terpisahkan dari pekerjaan. Mode mandiri belum tersedia di rilis ini, dan loadable sebaiknya dibangun di perangkat target dengan tumpukan TensorRT serta DLA yang terpasang, bukan disalin dari sistem lain. Contoh di repositori juga tidak menyertakan biner model maupun loadable siap pakai.

Selain itu, klaim efisiensi daya DLA berasal dari materi pemasaran NVIDIA dan belum diverifikasi secara independen dalam bahan ini. Pengembang yang mempertimbangkan DLA perlu mengukur sendiri pada beban kerja dan perangkatnya.

Apa berikutnya

NVIDIA mengarahkan pembaca ke sampel Deep Learning Accelerator untuk contoh inferensi end-to-end lengkap dengan skrip penyiapan dan kompilasi model, serta ke repositori GitHub NVIDIA/cuda-python untuk mempelajari proyek CUDA Python dan menjalankan uji unit tanpa perangkat keras. Bagi tim yang ingin mencoba, langkah paling praktis adalah menyiapkan JetPack, memasang cuda-bindings 13.3.0 atau lebih baru, lalu membangun loadable di Jetson target sebelum menjalankan pipeline hibrida GPU-DLA-GPU dari Python.

#nvidia#jetson#dla#python#inferensi#ai-edge

Terkait

Ilustrasi: Piksel (AI)Praktik & Perkakas

Google rilis panduan desain model LLM dan MoE optimal di TPU

Panduan tpu-codesign Google memuat aturan desain berbasis perangkat keras TPU, mulai dari penyelarasan dimensi ke 256 hingga kompresi token LatentMoE untuk model Mixture-of-Experts.

Arjuna · Praktik17 November 2026