Сильнейший открытый ИИ из США обучали с помощью китайской модели. Стартап Мурати представил Inkling
Moonshot AI
NVIDIA
DeepSeek
OpenAI
Anthropic
Google/DeepMind
xAI
Cognition
GLM (Zhipu AI)
Стартап бывшего технического директора OpenAI Миры Мурати, Thinking Machines Lab, представил открытую мультимодальную модель Inkling с 975 млрд параметров. Примечательно, что для её обучения на начальном этапе использовались синтетические данные, сгенерированные китайской моделью Kimi K2.5 от Moonshot AI.
Thinking Machines Lab, стартап экс-техдиректора OpenAI Миры Мурати, представил свою первую модель Inkling. Это мультимодальная модель с архитектурой «смесь экспертов» (MoE) на 975 млрд параметров, из которых активны 41 млрд на токен. Inkling работает с текстом, изображениями и аудио, поддерживает контекст до 1 млн токенов и рассуждающий режим. Главное отличие — открытые веса, модель размещена на Hugging Face. Самая любопытная деталь релиза: для начального этапа дообучения с учителем (SFT) Thinking Machines использовала синтетические данные, сгенерированные другими открытыми моделями, включая Kimi K2.5 от китайской Moonshot AI. Хотя компания отмечает, что на этот этап пришлась малая доля вычислений, это создаёт иронию: релиз, преподносимый как возвращение США в гонку открытых весов, начался с помощью китайской модели. Предварительное обучение провели на 45 трлн токенов с использованием ускорителей NVIDIA GB300 NVL72. Дизайн MoE напоминает DeepSeek-V3: 256 роутируемых экспертов плюс два общих, шесть активных на токен. Вместо поворотных позиционных эмбеддингов (RoPE) выбраны относительные. Мультимодальность реализована без отдельных энкодеров: аудио подаётся дискретными dMel-спектрограммами, изображения — патчами 40×40 пикселей. Отдельная фишка — регулируемое «усилие мышления» от 0.2 до 0.99, что позволяет добиться нужного качества при лучшей цене: на бенчмарке Terminal Bench 2.1 модель достигает результата Nemotron 3 Ultra от Nvidia, тратя втрое меньше токенов. Inkling уступает лучшим китайским моделям (Kimi K2.6, GLM-5.2), но среди американских открытых ИИ выглядит сильнейшим: обходит Nemotron 3 Ultra почти по всем бенчмаркам. На лидерборде Design Arena Inkling занял девятое место с Elo 1257, в одной группе с Claude Opus 4.6 и Gemini 3.5 Flash. Thinking Machines честно признаёт, что Inkling — не самая производительная модель, и делает акцент на калибровке уверенности (эпистемика): на коротких фактических вопросах модель поощряли отвечать «не знаю». На ForecastBench Inkling прогнозирует на уровне Gemini 3.1 Pro и Grok 4.3. Бизнес-модель строится на кастомизации через платформу Tinker; в демо показали, как Inkling дообучает саму себя. В ходе обучения с подкреплением модель начала выбрасывать артикли и связки во внутреннем монологе, создавая стенографию. Вместе с Inkling анонсирована превью-версия Inkling-Small на 276 млрд параметров.
- Сокращения
- MoE = Mixture of Experts — смесь экспертов
- SFT = Supervised Fine-Tuning — дообучение с учителем
- RoPE = Rotary Position Embeddings — поворотные позиционные эмбеддинги
- HLE = Hard Language Evaluation — сложная языковая оценка
- GPQA = Graduate-level Physics Question Answering — ответы на вопросы по физике уровня выпускника
- SWEBench = Software Engineering Benchmark — бенчмарк программной инженерии
Источник: Habr — хаб ML —
оригинал
