vLLM

Laatste AI-nieuws, modellen en releases van vLLM.

Modellen 🇺🇸

Mistral AI introduceert Mistral 3-modelfamilie, inclusief Mistral Large 3

Mistral AI heeft Mistral 3 aangekondigd, een nieuwe generatie modellen waaronder de dichte modellen Ministral 3 (3B, 8B, 14B) en een sparse mixture-of-experts model Mistral Large 3 (41B actief, 675B totale parameters). Alle modellen worden uitgebracht onder de Apache 2.0-licentie en zijn beschikbaar op meerdere platforms, waaronder Hugging Face, Amazon Bedrock en Mistral AI Studio.

Mistral

Mistral AI

NVIDIA

Red Hat

vLLM

Mistral AI27.07 · 17:04

Hardware & Inferentie 🇷🇺

LLM Inferentie: Van KV-Cache naar Productie-implementatie

Een ervaren MLOps-ingenieur van hh.ru legt uit hoe je in 2026 efficiënt grote taalmodellen op je eigen hardware kunt draaien. Het artikel behandelt de belangrijkste technische aspecten: KV-cache, inferentie-engines vLLM en SGLang, de evolutie van aandachtsmechanismen, en praktische aanbevelingen voor modelselectie, parallellisme en hardware voor productie.

vLLM

SGLang