Hugging Face ja Microsoft Foundry: Avoimet mallit hallituilla GPU:illa

Hugging Face ja Microsoft Foundry ovat käynnistäneet yhteistyön, jonka myötä Hugging Face -ekosysteemin avoimia painomalleja isännöidään Foundry-alustalla, joka tarjoaa hallittua GPU-laskentaa palveluna. Hugging Face Collection on kuratoitu osajoukko malleja, joka päivitetään viikoittain ja kattaa teksti-, kuva-, ääni- ja multimodaaliset modaliteetit. Kaikki mallit on tarkastettu tietoturvan kannalta ja ne käyttävät SafeTensors-muotoa. Mallit otetaan käyttöön mallipohjien avulla, jotka määrittelevät suoritusympäristön, kiihdytinperheen ja kontekstin pituuden. Suoritusympäristöjä ovat muun muassa vLLM, SGLang, TensorRT-LLM, NIM, TEI ja llama.cpp. Kuratointiprosessiin kuuluu trendikkäiden mallien tunnistaminen, vaatimustenmukaisuuden ja tietoturvan tarkastus, suoritusympäristökuvien rakentaminen ja skannaus, painojen lataaminen Azure-tallennustilaan sekä API-yhteensopivuuden ja suorituskyvyn validointi ennen julkaisua Foundry Model Catalogiin. Käyttöönottoja hallinnoi Microsoft, ja ne sisältävät automaattiset konttipäivitykset, suoritusympäristön päivitykset ja tietoturvakorjaukset. Palvelu tukee globaaleja ja tietovyöhykekohtaisia käyttöönottoja, ja sen avulla voidaan yhdistää samassa agentissa sekä avoimia että huippumalleja. Kumppanuuden tavoitteena on kuroa umpeen avoimien mallien joustavuuden ja yritysten operatiivisten tarpeiden välinen kuilu.