vLLM

Neueste KI-Nachrichten, Modelle und Releases von vLLM.

Modelle 🇺🇸

Mistral AI stellt Modellfamilie Mistral 3 vor, darunter Mistral Large 3

Mistral AI hat Mistral 3 angekündigt, eine neue Generation von Modellen, darunter die dichten Modelle Ministral 3 (3B, 8B, 14B) und ein sparse Mixture-of-Experts-Modell Mistral Large 3 (41B aktiv, 675B Parameter insgesamt). Alle Modelle werden unter der Lizenz Apache 2.0 veröffentlicht und sind auf mehreren Plattformen verfügbar, darunter Hugging Face, Amazon Bedrock und Mistral AI Studio.

Mistral

Mistral AI

NVIDIA

Red Hat

vLLM

Mistral AI27.07 · 17:04

Hardware & Inferenz 🇷🇺

LLM-Inferenz: Vom KV-Cache zur Produktionsbereitstellung

Ein erfahrener MLOps-Ingenieur von hh.ru erklärt, wie man große Sprachmodelle im Jahr 2026 effizient auf eigener Hardware betreibt. Der Artikel behandelt zentrale technische Aspekte: KV-Cache, Inferenz-Engines vLLM und SGLang, die Entwicklung von Attention-Mechanismen sowie praktische Empfehlungen zur Modellauswahl, Parallelisierung und Hardware für die Produktion.

vLLM

SGLang