2,8 триллиона параметров — не предел: отечественная модель Kimi K4 стремится к экстремальному масштабу, GPU становятся узким местом
Moonshot AI
Стартап в области ИИ Moonshot AI выпустил модель Kimi K4 — большую языковую модель, как сообщается, с 2,8 триллиона параметров, и планирует масштабироваться еще больше. Компания заявляет, что поставки графических процессоров (GPU) теперь являются основным узким местом для обучения более крупных моделей.
Китайский стартап Moonshot AI, создатель серии Kimi K, анонсировал выход своей новейшей модели Kimi K4, утверждая, что она имеет 2,8 триллиона параметров. Это делает её одной из крупнейших зарегистрированных плотных моделей. Компания заявила, что это не предел, и они планируют продолжать масштабирование модели. Однако главным ограничивающим фактором для дальнейшего расширения называется
Показать ещё ↓
Источник: DeepSeek (GNews) —
оригинал