Kimi K3 오픈소스 공개: Anthropic이 마침내 카드를 꺼내 들다

Moonshot AI가 Kimi K3 모델을 오픈소스로 공개했는데, 이 모델의 벤치마크 성능은 Anthropic의 Claude Sonnet 4와 비슷한 수준이다. 오픈소스 공개에는 모델 가중치와 기술 보고서가 포함되어 있다. 보고서에 따르면 Anthropic은 확장된 Chinchilla 최적 비율을 채택하여 더 큰 배치 크기와 더 높은 학습률을 지원하고, 이를 통해 더 효율적인 훈련이 가능해졌다. Kimi K3는 전문가 혼합(MoE) 아키텍처를 기반으로 하며, 총 48개의 전문가와 토큰당 2개의 활성 전문가를 사용하고, 총 2640억 개의 매개변수 중에서 370억 개의 활성 매개변수를 갖는다. 이 모델은 확장성과 효율성을 위해 설계되었으며, 128K 컨텍스트 길이와 FP8 혼합 정밀도 훈련을 지원한다. Kimi K3의 오픈소스 공개는 고급 AI에 대한 접근성을 민주화하고 Anthropic 및 OpenAI와 같은 기존 업체에 도전하려는 움직임으로 보고 있다.