Pembaruan llama.cpp b10075: Empat Peningkatan pada Mesin AI Lokal
Meta
Pembaruan llama.cpp b10075 memperkenalkan empat peningkatan utama pada mesin inferensi AI lokal. Peningkatan ini berfokus pada performa, efisiensi memori, dan fitur baru untuk menjalankan model bahasa besar secara lokal.
Pembaruan terbaru llama.cpp b10075 menghadirkan empat peningkatan utama pada mesin AI lokal. Pertama, menambahkan dukungan untuk keluarga model Llama 4, memungkinkan pengguna menjalankan model-model ini secara lokal. Kedua, mengoptimalkan penggunaan memori melalui penanganan KV cache yang lebih baik, mengurangi konsumsi RAM selama inferensi. Ketiga, memperkenalkan fitur decoding spekulatif baru yang mempercepat pembuatan teks dengan menggunakan model draf. Keempat, meningkatkan kompatibilitas dengan berbagai backend perangkat keras, termasuk AMD ROCm dan Intel oneAPI, memperluas dukungan GPU.
Sumber: Meta AI (GNews) —
asli