تحديث llama.cpp b10075: أربعة تحسينات لمحرك الذكاء الاصطناعي المحلي

MetaMeta
يقدم تحديث llama.cpp b10075 أربعة تحسينات رئيسية لمحرك الاستدلال المحلي للذكاء الاصطناعي. تركز هذه التحسينات على الأداء وكفاءة الذاكرة والميزات الجديدة لتشغيل نماذج اللغة الكبيرة محليًا.
يقدم التحديث الأخير b10075 لمحرك llama.cpp أربعة تحسينات رئيسية لمحرك الذكاء الاصطناعي المحلي. أولاً، يضيف دعمًا لعائلة نماذج Llama 4، مما يتيح للمستخدمين تشغيل هذه النماذج محليًا. ثانيًا، يحسن استخدام الذاكرة من خلال معالجة أفضل لذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache)، مما يقلل من استهلاك ذاكرة الوصول العشوائي أثناء الاستدلال. ثالثًا، يقدم ميزة جديدة لفك التشفير التخميني تعمل على تسريع توليد النصوص باستخدام نموذج مسودة. وأخيرًا، يحسن التوافق مع مختلف الخلفيات المادية، بما في ذلك AMD ROCm و Intel oneAPI، مما يوسع دعم وحدات معالجة الرسومات.
المصدر: Meta AI (GNews) — الأصلي
منشوراتنا السابقة حول هذا الموضوع ↓
أخبار جديدة