Hugging Face und Microsoft Foundry: Offene Modelle auf verwalteten GPUs

Hugging Face und Microsoft Foundry haben eine Zusammenarbeit gestartet, um Open-Weight-Modelle aus dem Hugging-Face-Ökosystem auf der Foundry-Plattform zu hosten, die verwaltete GPU-Berechnung als Dienstleistung anbietet. Die Hugging Face Collection ist eine kuratierte Teilmenge von Modellen, die wöchentlich aktualisiert wird und die Modalitäten Text, Vision, Audio sowie multimodale Bereiche abdeckt – alle sicherheitsgeprüft und im SafeTensors-Format. Modelle werden über Vorlagen bereitgestellt, die Laufzeit, Beschleunigerfamilie und Kontextlänge festlegen, wobei die Laufzeiten vLLM, SGLang, TensorRT-LLM, NIM, TEI und llama.cpp umfassen. Die Kuratierungspipeline umfasst die Identifizierung von Trendmodellen, Compliance- und Sicherheitsprüfung, Erstellung und Scannen von Laufzeitimages, Hochladen der Gewichtungen in Azure Storage sowie Validierung der API-Konformität und Leistung vor der Veröffentlichung im Foundry Model Catalog. Bereitstellungen werden von Microsoft verwaltet, mit automatischen Container-Updates, Laufzeit-Upgrades und Sicherheitspatches. Der Dienst unterstützt globale und Datenzonen-Bereitstellungen und erlaubt das Mischen von offenen und Frontier-Modellen innerhalb desselben Agents. Die Partnerschaft zielt darauf ab, die Lücke zwischen der Flexibilität offener Modelle und den betrieblichen Anforderungen von Unternehmen zu schließen.