Hugging Face ve Microsoft Foundry: Yönetilen GPU'lar Üzerinde Açık Modeller

Hugging Face ve Microsoft Foundry, Hugging Face ekosistemindeki açık ağırlıklı modelleri Foundry platformunda barındırmak için bir iş birliği başlattı. Foundry, yönetilen GPU hesaplama hizmeti olarak sunuluyor. Hugging Face Collection, her hafta yenilenen, metin, görüntü, ses ve çok modlu (multimodal) alanları kapsayan, güvenlik taramasından geçmiş ve SafeTensors formatını kullanan derlenmiş bir model alt kümesidir. Modeller, çalışma zamanı (runtime), hızlandırıcı ailesi ve bağlam uzunluğunu belirten şablonlar aracılığıyla dağıtılır; çalışma zamanları arasında vLLM, SGLang, TensorRT-LLM, NIM, TEI ve llama.cpp bulunur. Küratörlük süreci, trend olan modellerin belirlenmesi, uyumluluk ve güvenlik taraması, çalışma zamanı görüntülerinin oluşturulması ve taranması, ağırlıkların Azure depolama alanına yüklenmesi ve Foundry Model Kataloğu'nda yayınlanmadan önce API uyumluluğu ile performansın doğrulanmasını içerir. Dağıtımlar Microsoft tarafından yönetilir; otomatik konteyner güncellemeleri, çalışma zamanı yükseltmeleri ve güvenlik yamaları sağlanır. Hizmet, küresel ve veri bölgesi dağıtımlarını destekler ve aynı ajan içinde açık ve sınır (frontier) modellerin karıştırılmasına olanak tanır. Ortaklık, açık model esnekliği ile kurumsal operasyonel ihtiyaçlar arasındaki boşluğu kapatmayı amaçlamaktadır.