Hugging Face dan Microsoft Foundry: Model Terbuka di GPU Terkelola

Hugging Face dan Microsoft Foundry telah meluncurkan kolaborasi untuk menghosting model-model berbobot terbuka dari ekosistem Hugging Face di platform Foundry, yang menyediakan GPU komputasi terkelola sebagai layanan. Koleksi Hugging Face adalah subkumpulan model terkurasi yang diperbarui setiap minggu, mencakup modalitas teks, visi, audio, dan multimodal, semuanya telah diperiksa keamanannya dan menggunakan format SafeTensors. Model-model diterapkan melalui templat yang menentukan runtime, keluarga akselerator, dan panjang konteks, dengan runtime termasuk vLLM, SGLang, TensorRT-LLM, NIM, TEI, dan llama.cpp. Jalur kurasi melibatkan identifikasi model yang sedang tren, pemeriksaan kepatuhan dan keamanan, membangun dan memindai citra runtime, mengunggah bobot ke penyimpanan Azure, serta memvalidasi kesesuaian API dan kinerja sebelum dipublikasikan ke Katalog Model Foundry. Penerapan dikelola oleh Microsoft, dengan pembaruan kontainer otomatis, peningkatan runtime, dan tambalan keamanan. Layanan ini mendukung penerapan global dan zona data, serta memungkinkan pencampuran model terbuka dan model frontier dalam agen yang sama. Kemitraan ini bertujuan untuk menjembatani kesenjangan antara fleksibilitas model terbuka dan kebutuhan operasional perusahaan.