Kimi K2, 전 세계에서 가장 큰 글로벌 파라미터 모델의 오픈소스 공개

Moonshot AI가 자사의 모델 Kimi K2의 전체 소스 코드를 공개했다고 발표했다. Kimi K2는 매개변수 수 기준으로 세계에서 가장 큰 오픈소스 모델이다. 이 모델은 Tencent Cloud, ModelScope, Replicate, CrossCompute를 포함한 여러 클라우드 플랫폼에서 이미 사용할 수 있다. Kimi K2는 1조 개의 매개변수를 가지며, 긴 컨텍스트 처리를 최적화하는 혁신적인 아키텍처인 MoBA(Mixture of Block Attention)를 사용한다. 이 모델은 15.5조 개의 토큰으로 학습되어 코딩, 수학, 과학 문제 분야에서 높은 성능을 보장한다. Kimi K2는 다양한 테스트에서 GPT-4o 및 Claude 3.5 Sonnet과 같은 모델을 능가하며, 추론 비용은 GPT-4o보다 7배 낮다. 이 모델은 오픈소스 라이선스에 따라 상업적 사용이 가능하여, 개발자와 기업이 상업적 목적으로 활용할 수 있다.