Inferencia de LLM: Desde KV-Cache hasta el Despliegue en Producción

Un ingeniero de MLOps de hh.ru explica los fundamentos de la inferencia de LLM en hardware local. El artículo cubre KV-cache, los motores de inferencia vLLM y SGLang, la evolución de los mecanismos de atención (MHA, GQA, MLA, DSA) y recomendaciones prácticas para elegir hardware y esquemas de paralelismo.

vLLM SGLang Meta DeepSeek Alibaba/Qwen Moonshot AI

Gran revuelo en torno a centros de datos orbitales de inteligencia artificial ya en el espacio

Elon Musk afirmó que en dos o tres años, los centros de datos espaciales serán más baratos que los terrestres. Sin embargo, los expertos señalan serios desafíos técnicos y económicos: enfriar unidades de procesamiento gráfico (GPU) en el vacío, radiadores gigantes y plazos poco realistas para desplegar un millón de satélites.

SpaceX NVIDIA xAI