vLLM

Últimas noticias, modelos y lanzamientos de IA de vLLM.

Modelos 🇺🇸

Mistral AI presenta la familia de modelos Mistral 3, incluido Mistral Large 3

Mistral AI ha anunciado Mistral 3, una nueva generación de modelos que incluye los modelos densos Ministral 3 (3B, 8B, 14B) y un modelo disperso de mezcla de expertos Mistral Large 3 (41B activos, 675B parámetros totales). Todos los modelos se publican bajo la licencia Apache 2.0 y están disponibles en múltiples plataformas, incluyendo Hugging Face, Amazon Bedrock y Mistral AI Studio.

Mistral

Mistral AI

NVIDIA

Red Hat

vLLM

Mistral AI27.07 · 17:04

Hardware e Inferencia 🇷🇺

Inferencia de LLM: Desde el KV-Cache hasta el despliegue en producción

Un ingeniero MLOps experimentado de hh.ru explica cómo ejecutar de manera eficiente modelos de lenguaje grandes en su propio hardware en 2026. El artículo cubre aspectos técnicos clave: KV-cache, motores de inferencia vLLM y SGLang, la evolución de los mecanismos de atención y recomendaciones prácticas para la selección de modelos, paralelismo y hardware para producción.

vLLM

SGLang