Kimi K3 на PAC1 и ECOM1: результаты 204 задач и анализ ошибок
Moonshot AI
Компания Moonshot AI выпустила открытую модель Kimi K3 в июле. Модель была протестирована на двух бенчмарках BitGN (PAC1 и ECOM1) с 204 открытыми трейсами. Результаты показывают хорошую производительность на простых задачах поиска и вычислений, но частые сбои при многофайловых атомарных операциях, проверке недоверенного ввода и согласованности длинных таблиц.
27 июля компания Moonshot AI опубликовала открытые веса для модели Kimi K3 вместе с техническим отчетом. Для независимой проверки производительности модель была запущена на двух наборах задач BitGN: PAC1 (документы, счета, входящие сообщения, пакетные изменения файлов) и ECOM1 (каталог, инвентаризация, корзины, платежи, возвраты, логистика). По PAC1 было получено 61 из 104 баллов (бинарная
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал