2,8 trilhões de parâmetros não é o fim: Modelo nacional Kimi K4 busca escala extrema, GPUs se tornam gargalo
Moonshot AI
A startup nacional de modelos de IA Moonshot AI lançou o Kimi K4, um modelo de linguagem grande com supostamente 2,8 trilhões de parâmetros, e planeja escalar ainda mais. A empresa afirma que o fornecimento de GPUs é agora o principal gargalo para treinar modelos maiores.
A Moonshot AI, startup chinesa por trás da série Kimi K, anunciou o lançamento do seu mais recente modelo, o Kimi K4, alegando que ele possui 2,8 trilhões de parâmetros. Isso o torna um dos maiores modelos densos já relatados. A empresa indicou que este não é o limite; eles planejam continuar aumentando o tamanho do modelo. No entanto, eles citaram a disponibilidade de GPUs de alto desempenho como o principal fator limitante para uma expansão adicional. O modelo existente foi treinado usando milhares de GPUs NVIDIA H800, e adquirir hardware mais avançado é desafiador devido a restrições de exportação e limitações no fornecimento doméstico.
Fonte: DeepSeek (GNews) —
original