Как Kimi K3 достиг вершины: путь обучения на 2,8 триллиона параметров
Модель Kimi K3 от Moonshot AI достигает ведущих показателей с 2,8 триллиона параметров. В модели используются передовые методы обучения, включая смесь экспертов и крупномасштабные параллельные вычисления.
Moonshot AI разработала Kimi K3 — большую языковую модель с 2,8 триллиона параметров, достигшую лучших показателей в бенчмарках. Процесс обучения включал архитектуру смеси экспертов (Mixture of Experts, MoE) и массивные параллельные вычисления на тысячах графических процессоров. Модель демонстрирует значительные улучшения в логическом мышлении, программировании и многоязычных способностях. Это
Показать ещё ↓
Источник: Moonshot Kimi (GNews) —
оригинал