Hugging Face en Microsoft Foundry: Open modellen op beheerde GPU's

Hugging Face en Microsoft Foundry hebben een samenwerking gestart om open-weight modellen uit het Hugging Face-ecosysteem te hosten op het Foundry-platform, dat beheerde GPU-compute as a service biedt. De Hugging Face Collection is een samengestelde subset van modellen die wekelijks wordt ververst en tekst, beeld, audio en multimodale modaliteiten omvat. Alle modellen zijn beveiligingsgescreend en gebruiken de SafeTensors-indeling. Modellen worden geïmplementeerd via sjablonen die runtime, acceleratorfamilie en contextlengte specificeren, met runtimes zoals vLLM, SGLang, TensorRT-LLM, NIM, TEI en llama.cpp. De curatiepijplijn omvat het identificeren van trending modellen, compliance- en beveiligingsscreening, het bouwen en scannen van runtime-images, het uploaden van gewichten naar Azure-opslag en het valideren van API-conformiteit en prestaties voordat ze worden gepubliceerd in de Foundry Model Catalog. De implementaties worden beheerd door Microsoft, met automatische containerupdates, runtime-upgrades en beveiligingspatches. De service ondersteunt wereldwijde en datazone-implementaties en maakt het mogelijk om open en frontier modellen te combineren binnen dezelfde agent. Het partnerschap heeft als doel de kloof te overbruggen tussen de flexibiliteit van open modellen en de operationele behoeften van ondernemingen.