Kimi K3 может вместить 22 580 моделей GPT-2: семь лет эволюции больших языковых моделей — это не только рост параметров
Исследование, проведённое с использованием Kimi K3 от Moonshot AI в качестве эталона, показывает, что большие языковые модели за семь лет развивались не только за счёт увеличения числа параметров, но и благодаря улучшениям в архитектуре и эффективности. Сравнение демонстрирует, что ёмкость Kimi K3 эквивалентна 22 580 моделям GPT-2.
Недавний анализ, посвящённый модели Kimi K3 от компании Moonshot AI, подчёркивает значительную эволюцию больших языковых моделей (LLM, large language model) за последние семь лет, отмечая, что прогресс не сводится лишь к росту количества параметров. В исследовании указывается, что Kimi K3, как современная модель, по своей ёмкости эквивалентна 22 580 моделям GPT-2, что иллюстрирует колоссальный
Показать ещё ↓
Источник: Moonshot Kimi (GNews) —
оригинал