vLLM

Uusimmat tekoälyuutiset, mallit ja julkaisut taholta vLLM.

Mallit 🇺🇸

Mistral AI esittelee Mistral 3 -malliperheen, mukaan lukien Mistral Large 3:n

Mistral AI on julkistanut Mistral 3:n, uuden sukupolven malleja, joihin kuuluvat tiheät mallit Ministral 3 (3B, 8B, 14B) ja harva sekoitus-asiantuntijoita -malli Mistral Large 3 (41B aktiivisia, 675B parametreja yhteensä). Kaikki mallit on julkaistu Apache 2.0 -lisenssillä ja ne ovat saatavilla useilla alustoilla, kuten Hugging Face, Amazon Bedrock ja Mistral AI Studio.

Mistral

Mistral AI

NVIDIA

Red Hat

vLLM

Mistral AI27.07 · 17:04

Laitteisto ja päättely 🇷🇺

LLM-päätely: KV-välimuistista tuotantokäyttöön

Kokenut MLOps-insinööri hh.ru:lta kertoo, miten suuria kielimalleja ajetaan tehokkaasti omalla laitteistolla vuonna 2026. Artikkeli käsittelee keskeisiä teknisiä näkökohtia: KV-välimuisti, päätelymoottorit vLLM ja SGLang, huomiointimekanismien kehitys sekä käytännön suosituksia mallin valintaan, rinnakkaisuuteen ja tuotantokäyttöön soveltuvaan laitteistoon.

vLLM

SGLang