vLLM

Dernières actualités, modèles et sorties d'IA de vLLM.

Modèles 🇺🇸

Mistral AI dévoile la famille de modèles Mistral 3, dont Mistral Large 3

Mistral AI a annoncé Mistral 3, une nouvelle génération de modèles comprenant les modèles denses Ministral 3 (3B, 8B, 14B) et un modèle sparse à mélange d'experts Mistral Large 3 (41B actifs, 675B paramètres au total). Tous les modèles sont publiés sous la licence Apache 2.0 et disponibles sur plusieurs plateformes, notamment Hugging Face, Amazon Bedrock et Mistral AI Studio.

Mistral

Mistral AI

NVIDIA

Red Hat

vLLM

Mistral AI27.07 · 17:04

Matériel et Inférence 🇷🇺

Inférence des LLM : du cache KV au déploiement en production

Un ingénieur MLOps expérimenté de hh.ru explique comment exécuter efficacement des grands modèles de langage sur votre propre matériel en 2026. L'article aborde les aspects techniques clés : cache KV, moteurs d'inférence vLLM et SGLang, évolution des mécanismes d'attention, et recommandations pratiques pour la sélection des modèles, le parallélisme et le matériel pour la production.

vLLM

SGLang