Hugging Face et Microsoft Foundry : des modèles ouverts sur GPU gérés

Hugging Face et Microsoft Foundry ont lancé une collaboration pour héberger des modèles à poids ouverts de l'écosystème Hugging Face sur la plateforme Foundry, qui fournit des GPU gérés en tant que service. La Hugging Face Collection est un sous-ensemble de modèles mis à jour chaque semaine, couvrant les modalités texte, vision, audio et multimodales, tous vérifiés en matière de sécurité et utilisant le format SafeTensors. Les modèles sont déployés via des modèles (templates) qui spécifient le runtime, la famille d'accélérateurs et la longueur du contexte, avec des runtimes incluant vLLM, SGLang, TensorRT-LLM, NIM, TEI et llama.cpp. Le pipeline de curation implique l'identification des modèles tendance, la vérification de la conformité et de la sécurité, la construction et l'analyse des images runtime, le téléchargement des poids vers Azure Storage, et la validation de la conformité de l'API et des performances avant publication dans le Foundry Model Catalog. Les déploiements sont gérés par Microsoft, avec des mises à jour automatiques des conteneurs, des mises à niveau du runtime et des correctifs de sécurité. Le service prend en charge les déploiements globaux et par zones de données, et permet de mélanger des modèles ouverts et des modèles de pointe (frontier models) au sein du même agent. Ce partenariat vise à combler le fossé entre la flexibilité des modèles ouverts et les besoins opérationnels des entreprises.