vLLM

أحدث أخبار ونماذج وإصدارات الذكاء الاصطناعي من vLLM.

النماذج 🇺🇸

ميسترال إيه آي تطلق عائلة نماذج ميسترال 3، بما في ذلك ميسترال لارج 3

أعلنت شركة ميسترال إيه آي عن إطلاق الجيل الجديد من النماذج ميسترال 3، والذي يتضمن نماذج كثيفة: ميسترال 3B، 8B، و14B (بثلاثة مليارات وثمانية مليارات وأربعة عشر مليار معامل)، بالإضافة إلى النموذج الهجين ذي الخبراء المتفرقين ميسترال لارج 3 (41 مليار معامل نشط، و675 مليار معامل إجمالي). تم إصدار جميع النماذج بموجب ترخيص أباتشي 2.0، وهي متاحة على عدة منصات بما في ذلك هاغينغ فيس وأمازون بيدروك واستوديو ميسترال إيه آي.

MistralMistral Mistral AIMistral AI NVIDIANVIDIA Red HatRed Hat vLLMvLLM
Mistral AI27.07 · 17:04

استدلال نماذج اللغة الكبيرة: من ذاكرة التخزين المؤقت KV إلى النشر الإنتاجي

مهندس MLOps ذو خبرة من hh.ru يشرح كيفية تشغيل نماذج اللغة الكبيرة بكفاءة على أجهزتك الخاصة في عام 2026. تغطي المقالة الجوانب التقنية الرئيسية: ذاكرة التخزين المؤقت KV، محركات الاستدلال vLLM وSGLang، تطور آليات الانتباه، وتوصيات عملية لاختيار النموذج والتوازي والأجهزة للإنتاج.

vLLMvLLM SGLangSGLang MetaMeta DeepSeekDeepSeek Alibaba/QwenAlibaba/Qwen Moonshot AIMoonshot AI
Habr — хаб ИИ27.07 · 09:02
أخبار جديدة