28 триллионов токенов — не предел: китайская модель ИИ Kimi K4 нацелена на большее, узким местом являются GPU
Moonshot AI
Компания Moonshot AI разрабатывает новую модель Kimi K4, которая, как ожидается, превзойдет свою предшественницу Kimi K3, обученную на 28,8 триллиона токенов. Генеральный директор компании указал, что масштаб модели ограничен доступностью графических процессоров (GPU), что подчеркивает проблему аппаратных ограничений.
Разработчик серии больших языковых моделей Kimi, компания Moonshot AI, объявила о выпуске своего следующего поколения модели — Kimi K4. Основатель и генеральный директор компании заявил, что масштаб Kimi K4 превзойдет масштаб Kimi K3, которая обучалась на 28,8 триллиона токенов. Он подчеркнул, что основным ограничением размера модели является не технологические амбиции, а доступность графических
Показать ещё ↓
Источник: DeepSeek (GNews) —
оригинал