Kimi K2 открывает исходный код крупнейшей модели с глобальными параметрами

Moonshot AI объявила о полном открытии исходного кода своей модели Kimi K2, которая является самой крупной моделью с открытым исходным кодом по количеству параметров в мире. Модель уже доступна на нескольких облачных платформах, включая Tencent Cloud, ModelScope, Replicate и CrossCompute. Kimi K2 имеет 1 триллион параметров и использует инновационную архитектуру MoBA (Mixture of Block Attention), которая оптимизирует обработку длинных контекстов. Модель была обучена на 15,5 триллионах токенов, что обеспечивает высокую производительность в области кодирования, математики и научных задач. Kimi K2 превосходит такие модели, как GPT-4o и Claude 3.5 Sonnet, в различных тестах, при этом стоимость вывода в 7 раз ниже, чем у GPT-4o. Модель доступна для коммерческого использования в рамках лицензии с открытым исходным кодом, что позволяет разработчикам и предприятиям использовать её в коммерческих целях.