Модели Агенты 🇷🇺 27.07.2026 23:03

Как устроена Kimi K3: 2,8 трлн параметров, линейное внимание и агенты на миллион токенов

OpenAI

Компания Moonshot AI опубликовала веса модели Kimi K3 — мультимодальной модели на основе архитектуры MoE с 2,8 трлн параметров, из которых на каждый токен активируется 104 млрд. В отдельных тестах по программированию и работе с инструментами модель превосходит конкурентов, но в среднем уступает некоторым из них.

Moonshot AI выпустила веса своей новой модели Kimi K3, построенной на архитектуре MoE (смесь экспертов) с общим числом параметров 2,8 трлн, из которых активными на каждом токене остаются 104 млрд. В отдельных бенчмарках по программированию и работе с инструментами K3 показывает результаты выше, чем у Claude Opus 4.8, GPT-5.5, GPT-5.6 Sol и Claude Fable 5, однако сама компания в техническом отчёте

Показать ещё ↓

Сокращения: MoE = Mixture of Experts — смесь экспертов; MLA = Multi-head Latent Attention — многоголовое латентное внимание

Источник: Habr — хаб ИИ — оригинал