Amazon SageMaker HyperPod 및 Amazon EKS에서 Kimi K3 배포

Moonshot AI가 오픈 웨이트 모델인 Kimi K3를 출시했습니다. 이 모델은 2.8조 개의 파라미터를 보유하고 있으며, 3조 파라미터 클래스에 도달한 최초의 오픈 시스템입니다. 아키텍처는 Kimi Delta Attention, Gated Multi Head Latent Attention, Stable LatentMoE를 포함하며, 토큰당 896개의 전문가 중 16개를 활성화하여 1040억 개의 활성 파라미터를 제공합니다. 이 모델은 100만 토큰의 컨텍스트를 지원하며, 다중 모드(텍스트 및 이미지)입니다. 웨이트는 Hugging Face에서 MXFP4 형식으로 제공되며, 추론에는 vLLM이 권장됩니다. 배포에는 8개의 NVIDIA B300 Blackwell Ultra GPU를 갖춘 p6-b300 인스턴스가 필요합니다. AWS는 SageMaker HyperPod(Inference Operator 포함)와 Capacity Blocks를 사용하는 독립형 Amazon EKS의 두 가지 방법을 제공합니다. 두 방법 모두 호출을 위한 OpenAI 호환 API를 제공합니다. 이 문서에는 클러스터 생성, 용량 예약, 드라이버 설치, vLLM 배포 및 리소스 정리 권장 사항을 포함한 각 옵션에 대한 자세한 단계가 포함되어 있습니다.