Kimi K3: Moonshot AI, 2조 8천억 파라미터 모델의 가중치를 공개하다

7월 27일, Moonshot AI는 2.8조 개의 파라미터를 가진 MoE 모델 Kimi K3의 가중치를 공개했습니다. 이 모델은 896개의 전문가(토큰당 활성 16개, 활성 파라미터 약 500억 개)와 100만 토큰 컨텍스트를 갖추고 있습니다. Artificial Analysis 지수에서 57점을 기록하여 전체 4위, 오픈 모델 중 1위를 차지했으며, GLM-5.2(51점)와 DeepSeek V4 Pro(44점)를 능가했습니다. 또한 LMArena Frontend Code Arena에서 1위를 차지하여, 맹목 비교의 76%에서 Claude Fable 5를 이겼습니다. 아키텍처는 Kimi Delta Attention과 Attention Residuals를 사용하며, 내부 보고서에 따르면 K2 대비 2.5배의 스케일링 효율을 제공한다고 합니다. 가중치는 MXFP4 양자화에서도 약 1.4TB를 차지하여, 멀티 GPU 서버 구성이 필요합니다. Moonshot은 또한 FlashKDA(어텐션을 위한 CUDA 커널), MoonEP(전문가 병렬화 라이브러리), AgentENV(에이전트 훈련을 위한 샌드박스 환경)를 오픈소스로 공개했습니다. 라이선스는 커스텀으로, 월간 활성 사용자 1억 명 이상 또는 월 수익 2000만 달러 이상인 제품에는 브랜드 표시가 필요하며, MaaS 제공업체는 별도 계약이 필요합니다. Together AI, Fireworks, DigitalOcean, Nebius, Baseten, Modal, vLLM에서 지원을 발표했습니다. API 가격은 입력 토큰 100만 개당 3달러, 출력 토큰 100만 개당 15달러, 캐시된 입력 토큰 100만 개당 0.30달러입니다.