Inkling: открытая модель от Thinking Machines Lab
Компания Thinking Machines Lab, основанная Мирой Мурати, выпустила свою первую модель с открытыми весами — Inkling. Это мультимодальный Mixture-of-Experts трансформер с 975 миллиардами параметров (41 миллиард активных). Модель распространяется под лицензией Apache-2.0.
Компания Thinking Machines Lab, основанная бывшим техническим директором OpenAI Мирой Мурати, представила свою первую модель с открытыми весами — Inkling. Это мультимодальный трансформер с архитектурой «смесь экспертов» (Mixture-of-Experts), имеющий в общей сложности 975 миллиардов параметров, из которых 41 миллиард активны. Модель обучена на 45 триллионах токенов, включая текст, изображения,
Показать ещё ↓
Источник: Simon Willison —
оригинал