허깅 페이스와 마이크로소프트 파운드리: 관리형 GPU에서의 오픈 모델

Hugging Face와 Microsoft Foundry가 협력하여 Foundry 플랫폼에서 Hugging Face 생태계의 오픈웨이트 모델을 호스팅하기로 했습니다. Foundry는 관리형 GPU 컴퓨팅을 서비스로 제공합니다. Hugging Face Collection은 매주 업데이트되는 선별된 모델 모음으로, 텍스트, 비전, 오디오, 멀티모달 등 다양한 모달리티를 포함하며, 모든 모델은 보안 검사를 거쳤고 SafeTensors 형식을 사용합니다. 모델은 런타임, 가속기 제품군, 컨텍스트 길이를 지정하는 템플릿을 통해 배포되며, 런타임에는 vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp 등이 포함됩니다. 큐레이션 파이프라인은 트렌딩 모델 식별, 규정 준수 및 보안 검사, 런타임 이미지 빌드 및 스캔, Azure 스토리지에 가중치 업로드, Foundry Model Catalog에 게시 전 API 적합성 및 성능 검증 단계로 구성됩니다. 배포는 Microsoft에서 관리하며, 자동 컨테이너 업데이트, 런타임 업그레이드, 보안 패치를 제공합니다. 이 서비스는 글로벌 및 데이터 존 배포를 지원하며, 동일한 에이전트 내에서 오픈 모델과 프론티어 모델을 혼합하여 사용할 수 있습니다. 이 파트너십은 오픈 모델의 유연성과 엔터프라이즈 운영 요구 사이의 격차를 해소하는 것을 목표로 합니다.