vLLM

Últimas notícias, modelos e lançamentos de IA de vLLM.

Modelos 🇺🇸

Mistral AI Apresenta Família de Modelos Mistral 3, Incluindo Mistral Large 3

A Mistral AI anunciou o Mistral 3, uma nova geração de modelos que inclui os modelos densos Ministral 3 (3B, 8B, 14B) e um modelo esparso de mistura de especialistas Mistral Large 3 (41B ativos, 675B parâmetros totais). Todos os modelos são lançados sob a licença Apache 2.0 e estão disponíveis em várias plataformas, incluindo Hugging Face, Amazon Bedrock e Mistral AI Studio.

Mistral

Mistral AI

NVIDIA

Red Hat

vLLM

Mistral AI27.07 · 17:04

Hardware e Inferência 🇷🇺

Inferência de LLMs: Do KV-Cache à Implantação em Produção

Um engenheiro de MLOps experiente do hh.ru explica como executar grandes modelos de linguagem de forma eficiente em seu próprio hardware em 2026. O artigo aborda aspectos técnicos essenciais: KV-cache, mecanismos de inferência vLLM e SGLang, a evolução dos mecanismos de atenção e recomendações práticas para seleção de modelos, paralelismo e hardware para produção.

vLLM

SGLang