Moonshot AI, 인기 모델 Kimi-K3의 가중치 공개 — 시장 선두주자와 거의 동등하지만 실행이 훨씬 간단

Moonshot AI가 Kimi-K3 모델의 가중치를 무료로 공개하여, 충분한 연산 자원을 가진 누구나 로컬에서 실행할 수 있게 되었습니다. 이 모델은 이전 세대의 OpenAI GPT 및 Anthropic Claude를 크게 능가하며, 최신 Sol 및 Fable 모델에 비해 약간 뒤처질 뿐입니다. Kimi-K3는 미국 경쟁사 제품보다 운영 비용이 2~3배 저렴하며, 코딩 작업에서 캐시 적중 시 비용이 표준 입력 가격인 백만 토큰당 3달러에서 0.30달러로 떨어집니다. 이러한 효율성은 가중치 저장에 MXFP4를, 활성화에 MXFP8을 사용하는 데서 비롯된 것으로 보이며, 두 형식 모두 메모리를 절약하는 저정밀도 형식입니다. 총 2.8조 개의 파라미터 중 오직 1042억 개만이 동시에 활성화됩니다. 이 모델은 기본 MX 부동소수점 지원이 없는 Nvidia H20 가속기에서 실행되도록 설계되었지만, Blackwell 칩에서는 더 효율적으로 실행될 수 있습니다. Kimi-K3는 키-값 캐시를 Kimi Delta Attention이라는 고정 크기 상태 핸들러로 대체하고, 896개 전문가 중 16개만 활성화하는 MoE를 사용합니다. 그러나 가중치만 공개되었을 뿐, 훈련 과정과 데이터셋은 독점으로 남아 있습니다.