Hugging Face y Microsoft Foundry: Modelos abiertos en GPU gestionadas

Hugging Face y Microsoft Foundry han lanzado una colaboración para alojar modelos de código abierto del ecosistema de Hugging Face en la plataforma Foundry, que ofrece potencia de cómputo GPU gestionada como servicio. La Colección Hugging Face es un subconjunto seleccionado de modelos que se actualiza semanalmente, cubriendo modalidades de texto, visión, audio y multimodales, todos revisados por seguridad y utilizando el formato SafeTensors. Los modelos se despliegan mediante plantillas que especifican el entorno de ejecución, la familia de aceleradores y la longitud de contexto, con entornos como vLLM, SGLang, TensorRT-LLM, NIM, TEI y llama.cpp. El proceso de selección implica identificar modelos en tendencia, verificar cumplimiento y seguridad, construir y escanear imágenes de ejecución, subir pesos a Azure Storage y validar conformidad con la API y rendimiento antes de publicarlos en el Catálogo de Modelos de Foundry. Los despliegues son gestionados por Microsoft, con actualizaciones automáticas de contenedores, mejoras de entorno de ejecución y parches de seguridad. El servicio admite despliegues globales y en zonas de datos, y permite mezclar modelos abiertos y fronterizos dentro del mismo agente. La alianza busca cerrar la brecha entre la flexibilidad de los modelos abiertos y las necesidades operativas empresariales.