Hugging Face và Microsoft Foundry: Mô hình mở trên GPU quản lý

Hugging Face và Microsoft Foundry đã khởi động hợp tác để lưu trữ các mô hình trọng số mở từ hệ sinh thái Hugging Face trên nền tảng Foundry, cung cấp dịch vụ điện toán GPU được quản lý dưới dạng dịch vụ. Bộ sưu tập Hugging Face là một tập hợp con các mô hình được chọn lọc và làm mới hàng tuần, bao gồm các mô hình văn bản, thị giác, âm thanh và đa phương thức, tất cả đều được kiểm tra bảo mật và sử dụng định dạng SafeTensors. Các mô hình được triển khai thông qua các mẫu mô tả môi trường thực thi, họ bộ tăng tốc và độ dài ngữ cảnh, với các môi trường thực thi bao gồm vLLM, SGLang, TensorRT-LLM, NIM, TEI và llama.cpp. Quy trình chọn lọc bao gồm xác định các mô hình đang thịnh hành, kiểm tra tuân thủ và bảo mật, xây dựng và quét hình ảnh môi trường thực thi, tải trọng số lên bộ nhớ Azure, và xác thực tuân thủ giao diện lập trình ứng dụng cùng hiệu suất trước khi xuất bản lên Danh mục Mô hình Foundry. Việc triển khai do Microsoft quản lý, với các bản cập nhật container tự động, nâng cấp môi trường thực thi và vá bảo mật. Dịch vụ hỗ trợ triển khai toàn cầu và theo vùng dữ liệu, đồng thời cho phép kết hợp các mô hình mở và tiên tiến trong cùng một tác nhân. Sự hợp tác này nhằm thu hẹp khoảng cách giữa tính linh hoạt của mô hình mở và nhu cầu vận hành doanh nghiệp.