2,8 триллиона параметров — не предел: отечественная модель Kimi K4 стремится к экстремальным масштабам, GPU становятся узким местом
Moonshot AI
Стартап в области искусственного интеллекта Moonshot AI выпустил большую языковую модель Kimi K4, которая, по сообщениям, имеет 2,8 триллиона параметров, и планирует дальнейшее масштабирование. Компания заявляет, что поставки графических процессоров (GPU) теперь являются основным узким местом для обучения более крупных моделей.
Китайский стартап Moonshot AI, создатель серии Kimi K, анонсировал выход своей новейшей модели Kimi K4, утверждая, что она имеет 2,8 триллиона параметров. Это делает её одной из крупнейших зарегистрированных плотных моделей. Компания заявила, что это не предел, и они планируют продолжать масштабирование модели. Однако главным ограничивающим фактором для дальнейшего расширения называется
Показать ещё ↓
Источник: DeepSeek (GNews) —
оригинал