Moonshot AI

Как устроена Kimi K3: 2,8 трлн параметров, линейное внимание и агенты на миллион токенов

Компания Moonshot AI опубликовала веса модели Kimi K3 — мультимодальной модели на основе архитектуры MoE с 2,8 трлн параметров, из которых на каждый токен активируется 104 млрд. В отдельных тестах по программированию и работе с инструментами модель превосходит конкурентов, но в среднем уступает некоторым из них.

Moonshot AI Anthropic OpenAI