Hugging Face 与 Microsoft Foundry：在托管 GPU 上运行开放模型

Hugging Face 和 Microsoft Foundry 已展开合作,将 Hugging Face 生态系统中的开放权重(open-weight)模型托管到 Foundry 平台上,该平台以服务形式提供受管理的 GPU 计算资源。此次推出的 Hugging Face 模型合集(Collection)是一个精心筛选的模型子集,每周更新,涵盖文本、视觉、音频以及多模态等多种形式,所有模型均经过安全审查,并采用 SafeTensors 格式。模型通过模板进行部署,模板中会指定运行时环境、加速器系列以及上下文长度,支持的运行时包括 vLLM、SGLang、TensorRT-LLM、NIM、TEI 和 llama.cpp。整个筛选流程包括识别热门模型、进行合规与安全审查、构建并扫描运行时镜像、将权重上传至 Azure 存储、以及在发布到 Foundry 模型目录(Model Catalog)之前验证 API 一致性和性能表现。部署工作由 Microsoft 负责管理,包括自动容器更新、运行时升级以及安全补丁的推送。该服务支持全球部署和数据区域(data zone)部署,并允许在同一个智能体(agent)中混合使用开放模型与前沿(frontier)模型。此次合作旨在弥合开放模型的灵活性与企业级运维需求之间的差距。