Inferência de LLM: Do Cache KV à Implantação em Produção

Um engenheiro de MLOps da hh.ru explica os fundamentos da inferência de LLM em hardware local. O artigo aborda o cache KV, os motores de inferência vLLM e SGLang, a evolução dos mecanismos de atenção (MHA, GQA, MLA, DSA) e recomendações práticas para escolha de hardware e esquemas de paralelismo.

vLLM SGLang Meta DeepSeek Alibaba/Qwen Moonshot AI

Grande Hype em Torno de Centros de Dados Orbitais de IA Já no Espaço

Elon Musk afirmou que, em dois a três anos, centros de dados baseados no espaço se tornarão mais baratos que os terrestres. No entanto, especialistas apontam para sérios desafios técnicos e econômicos: resfriamento de GPUs no vácuo, radiadores gigantes e prazos irreais para implantar um milhão de satélites.

SpaceX NVIDIA xAI