2.8조 파라미터가 끝이 아니다: 국내 모델 Kimi K4, 극한 규모를 향하다, GPU가 병목 지점으로

Moonshot AI, 중국 스타트업으로 Kimi K 시리즈를 개발한 기업, 최신 모델 Kimi K4를 공개했다. 이 모델은 2조 8천억 개의 파라미터를 가진 것으로 알려져 있으며, 이는 보고된 바에 따르면 가장 큰 밀집 모델 중 하나이다. 회사는 이것이 한계가 아니며 모델 규모를 계속 확장할 계획이라고 밝혔다. 그러나 추가 확장의 주요 제한 요소로 고성능 GPU의 가용성을 언급했다. 기존 모델은 수천 개의 엔비디아 H800 GPU를 사용해 훈련되었으며, 수출 제한 및 국내 공급 제약으로 인해 더 고급 하드웨어를 확보하는 것이 어렵다.