28조 개의 토큰이 한계가 아니다: 중국 AI 모델 Kimi K4, 더 높은 목표를 향해, GPU가 병목

Moonshot AI는 Kimi 시리즈 대규모 언어 모델을 개발한 회사로, 차세대 모델인 Kimi K4를 발표했습니다. 회사의 창립자이자 CEO는 Kimi K4의 규모가 28.8조 개의 토큰으로 학습된 Kimi K3를 능가할 것이라고 밝혔습니다. 그는 모델 크기의 주요 제한 요소가 기술적 야망이 아니라 그래픽 처리 장치(GPU)의 가용성이라고 강조하며, 하드웨어 제약이 핵심 병목 현상이라고 지적했습니다.