Hugging Face e Microsoft Foundry: Modelos Abertos em GPUs Gerenciadas

A Hugging Face e a Microsoft Foundry lançaram uma colaboração para hospedar modelos de pesos abertos do ecossistema Hugging Face na plataforma Foundry, que fornece computação GPU gerenciada como serviço. A Hugging Face Collection é um subconjunto curado de modelos atualizado semanalmente, abrangendo modalidades de texto, visão, áudio e multimodal, todos com verificação de segurança e usando o formato SafeTensors. Os modelos são implantados por meio de modelos que especificam o runtime, a família de aceleradores e o comprimento do contexto, com runtimes incluindo vLLM, SGLang, TensorRT-LLM, NIM, TEI e llama.cpp. O pipeline de curadoria envolve identificar modelos em tendência, verificação de conformidade e segurança, construir e escanear imagens de runtime, fazer upload de pesos para o armazenamento do Azure e validar a conformidade da API e o desempenho antes de publicar no Catálogo de Modelos da Foundry. As implantações são gerenciadas pela Microsoft, com atualizações automáticas de contêiner, upgrades de runtime e patches de segurança. O serviço suporta implantações globais e em zonas de dados, e permite misturar modelos abertos e de fronteira dentro do mesmo agente. A parceria visa preencher a lacuna entre a flexibilidade de modelos abertos e as necessidades operacionais empresariais.