llama.cpp b10075 Güncellemesi: Yerel Yapay Zeka Motorunda Dört İyileştirme
Meta
llama.cpp b10075 güncellemesi, yerel yapay zeka çıkarım motoruna dört temel iyileştirme getiriyor. Bu geliştirmeler, büyük dil modellerini yerel olarak çalıştırmak için performans, bellek verimliliği ve yeni özelliklere odaklanıyor.
Son llama.cpp b10075 güncellemesi, yerel yapay zeka motoruna dört önemli iyileştirme getiriyor. İlk olarak, Llama 4 model ailesi için destek ekliyor; bu sayede kullanıcılar bu modelleri yerel olarak çalıştırabiliyor. İkinci olarak, daha iyi Anahtar-Doğrulama (KV) önbellek yönetimi ile bellek kullanımını optimize ediyor; bu da çıkarım sırasında RAM tüketimini azaltıyor. Üçüncü olarak, bir taslak model kullanarak metin üretimini hızlandıran yeni bir spekülatif kod çözme özelliği sunuyor. Son olarak, Gelişmiş Mikro Aygıtlar için AMD ROCm ve Intel oneAPI dahil olmak üzere çeşitli donanım arka uçlarıyla uyumluluğu iyileştirerek GPU desteğini genişletiyor.
Kaynak: Meta AI (GNews) —
orijinal