Lewati ke konten
Praktik & Perkakas

llama.cpp capai v1.0.0, janji API stabil bagi ekosistem AI lokal

Proyek llama.cpp merilis pustaka v1.0.0 yang membuang API usang dan menerapkan penomoran versi semantik ketat, memberikan fondasi lebih stabil bagi pengembang aplikasi AI lokal.

Ilustrasi: Piksel (AI)

Proyek llama.cpp, perangkat lunak sumber terbuka populer untuk menjalankan model bahasa besar di berbagai perangkat keras, resmi merilis pustaka versi 1.0.0 pada 13 November. Rilis ini diposisikan tim pengembangnya sebagai fondasi yang lebih kuat bagi ekosistem AI lokal, terutama karena menetapkan aturan penomoran versi yang lebih ketat dan menghapus antarmuka publik yang sudah usang.

Dalam pengumuman di blog Hugging Face, tim menyebut llama.cpp telah berjalan selama 3,5 tahun dan kini banyak aplikasi lain bergantung pada pustakanya. Karena itu, antarmuka pemrograman aplikasi (API) yang fleksibel tetapi stabil menjadi prioritas utama. “Setiap integrasi baru berarti lebih banyak pengembang yang bergantung pada antarmuka pustaka kami,” tulis tim pengembang.

Apa yang berubah di v1.0.0

Menurut halaman rilis di GitHub, llama.cpp v1.0.0 membuang API publik yang sudah tidak dipakai dan menaikkan API NextN serta speculative ke berkas llama.h. Rilis ini juga menambahkan singgahan KV FP8 (format bilangan pecahan 8-bit untuk menyimpan status perhatian model), singgahan pakar MoE di memori host dengan porsi CPU yang bisa diatur, serta pemuatan pecahan PLE eksternal.

Ada tiga arsitektur teks baru yang didukung: Kimi-K3.1-Pro, Ripple, dan xing4_0. Rilis ini juga menambah dukungan untuk model sintesis suara drama-3 TTS serta dukungan penglihatan untuk MageVL-Cowork dan Kimi-K3.1. Di sisi server, llama-server diperkuat terhadap kerentanan keamanan seperti SSRF, CORS, dan DNS rebinding, ditambah endpoint /v1/audio/speech yang kompatibel dengan OpenAI. Antarmuka web juga didesain ulang dengan fitur grup obrolan dan editor markdown.

Perubahan API yang dirinci mencakup penghapusan fungsi llama_set_warmup, 35 fungsi usang lainnya, serta opsi defrag_thold beserta parameternya. API NextN dipindahkan dari llama-ext.h ke llama.h, dan fungsi llama_set_embd_state_src diganti nama menjadi llama_set_ctx_state_src. Parameter konteks juga mendapat tambahan moe_cache_size dan moe_cache_cpu_share.

Aturan versi yang lebih tegas

Tim menetapkan aturan penomoran versi semantik untuk semua proyek di bawah organisasi ggml-org. Perubahan yang merusak kompatibilitas API C publik di folder ./include akan menaikkan nomor MAJOR. Fitur yang kompatibel ke belakang, pembaruan backend, dukungan model baru, atau penambahan API akan menaikkan nomor MINOR. Sementara itu, perbaikan bug tanpa perubahan API hanya menaikkan nomor PATCH.

Dengan rilis ini, llama.cpp dan ggml sama-sama mencapai v1.0.0. Menurut halaman rilis, ggml 1.0.0 memangkas API publik usang dan operasi DIAG_MASK warisan, menambah pemotongan YaRN yang bisa diatur, dukungan FP8, serta beragam peningkatan performa di berbagai backend. Peningkatan tersebut mencakup matmul kuantisasi baris sedikit dan fusi MoE di CUDA/Metal, jalur FlashAttention prefill di Vulkan, penjadwal MoE di sisi perangkat pada SYCL, serta kernel WebGPU baru.

Perubahan multi-modalitas juga cukup signifikan. Berkas clip.h dihapus dan infrastruktur model/subkonteks dikonsolidasikan ke mtmd. Buffer komputasi kini dibagi antar-subkonteks untuk menghemat memori pada model penglihatan, audio, dan generasi. Perhitungan log-mel juga dilakukan di dalam graf alih-alih memunculkan utas per permintaan, dan input audio streaming untuk Gemma 4 mulai didukung.

Arti penomoran 1.0

Bagi proyek yang sudah berjalan 3,5 tahun, label 1.0 bukan sekadar angka. Tim menyatakan bahwa mulai sekarang setiap ketidakcocokan API dan ABI akan tercermin lewat kenaikan nomor versi mayor. Mereka berjanji akan lebih ketat dalam membuat batas-batas tersebut terlihat oleh konsumen hilir.

Langkah ini relevan bagi ekosistem AI lokal yang tumbuh cepat. Aplikasi pihak ketiga yang membungkus llama.cpp, mulai dari antarmuka obrolan hingga perangkat lunak perusahaan, perlu mengetahui kapan pembaruan bisa mematahkan kode mereka. Dengan aturan versi yang jelas, pengembang dapat lebih mudah mengunci dependensi dan merencanakan migrasi.

Halaman rilis tidak merinci berapa banyak proyek hilir yang terdampak atau berapa lama masa transisi yang disediakan. Pengumuman juga tidak menyebut tenggat dukungan bagi API yang dihapus, sehingga pengembang yang masih memakai fungsi-fungsi lama perlu mencermati celah informasi ini.

Distribusi dan pengembangan

Tim menyebut sedang memperluas cara perangkat lunak ggml-org didistribusikan. Artefak pra-rilis tersedia untuk Linux, macOS, Windows, Android, dan iOS. Paket juga disalurkan lewat Docker untuk Linux, Debian untuk Linux, Homebrew untuk macOS dan Linux, conda-forge untuk Windows/macOS/Linux, MacPorts untuk macOS, Winget untuk Windows, serta XCFramework untuk iOS dan macOS.

Di sisi pengembangan, tim mengaku terus mengintegrasikan model bahasa besar dalam siklus kerja mereka, sembari menjaga kualitas basis kode dan kendali atas arsitektur. Untuk mempercepat laju pengembangan, mereka menambah investasi di infrastruktur integrasi berkelanjutan (CI). Teknologi Hugging Face seperti HF Buckets dan HF Jobs dipakai untuk menskalakan kapasitas pengujian setiap perubahan di cabang master. Dukungan perangkat keras datang dari NVIDIA, AMD, Qualcomm, Arm, IBM, dan Intel.

Soal cakupan model, llama.cpp mengklaim mendukung lebih dari 150 varian arsitektur serta semua metode speculative decoding utama. Mesin di baliknya, ggml, dirancang berjalan di hampir semua perangkat keras melalui backend khusus yang bisa dikompilasi sebagai pustaka dinamis dan dimuat saat runtime.

Sudut kritis

Meski rilis 1.0 menandai kematangan, beberapa hal tetap perlu diperhatikan. Penghapusan 35 fungsi usang dan llama_set_warmup berarti kode lama yang belum diperbarui berpotensi gagal dikompilasi. Tanpa panduan migrasi terperinci di halaman rilis, pengembang harus menelusuri sendiri perubahan pada berkas header.

Selain itu, klaim dukungan lebih dari 150 arsitektur tidak disertai daftar lengkap di pengumuman. Halaman rilis menyebut daftar backend lengkap bisa dilihat di tempat lain, tetapi tidak memuatnya langsung. Pembaca yang ingin memverifikasi cakupan spesifik perlu merujuk dokumentasi proyek.

Penomoran 1.0 juga belum tentu berarti API akan beku selamanya. Tim justru menyatakan akan menaikkan nomor mayor bila ada perubahan yang merusak, yang berarti pembaruan besar tetap mungkin terjadi. Stabilitas yang dijanjikan adalah stabilitas penanda versi, bukan jaminan tidak ada perubahan.

Apa berikutnya

Rilis ini menempatkan llama.cpp dan ggml sebagai fondasi yang lebih formal bagi aplikasi AI lokal. Tantangan berikutnya adalah memastikan ekosistem hilir benar-benar mengikuti aturan versi baru dan memperbarui kode yang terdampak penghapusan API. Tim juga menyatakan akan terus menambah runner mandiri di semua platform perangkat keras utama. Belum ada keterangan tanggal rilis berikutnya atau rencana dukungan jangka panjang yang dirinci dalam pengumuman ini.

#llama.cpp#ai lokal#perangkat lunak sumber terbuka#api#ggml

Terkait

Ilustrasi: Piksel (AI)Praktik & Perkakas

Google rilis panduan desain model LLM dan MoE optimal di TPU

Panduan tpu-codesign Google memuat aturan desain berbasis perangkat keras TPU, mulai dari penyelarasan dimensi ke 256 hingga kompresi token LatentMoE untuk model Mixture-of-Experts.

Arjuna · Praktik17 November 2026
Ilustrasi: Piksel (AI)Praktik & Perkakas

AWS dan NVIDIA tunjukkan cara rute agen coding di Bedrock

Sampel kode AWS dan NVIDIA menggunakan LiteLLM dengan plugin NeMo Switchyard untuk merutekan permintaan agen coding ke model Amazon Bedrock yang paling efisien berdasarkan biaya per tugas terselesaikan.

Arjuna · Praktik14 November 2026