Kimi K3가 정상에 오른 방법: 2조 8천억 파라미터 훈련 여정

Moonshot AI는 2.8조 개의 매개변수를 가진 대규모 언어 모델 Kimi K3를 개발하여 벤치마크에서 최고 성능을 달성했습니다. 학습 과정에는 전문가 혼합(Mixture of Experts, MoE) 아키텍처와 수천 개의 GPU에 걸친 대규모 병렬 컴퓨팅이 사용되었습니다. 이 모델은 추론, 코딩, 다국어 능력에서 상당한 개선을 보여줍니다. 이 성과는 중국의 대규모 AI 모델 개발 능력이 성장하고 있음을 강조합니다.