Qwen2.5-LLM: расширение границ языковых моделей
Alibaba/Qwen
Команда Qwen из Alibaba выпустила серию языковых моделей Qwen2.5, включающую семь открытых моделей с числом параметров от 0,5 до 72 миллиардов. Модели отличаются увеличенным набором данных для предварительного обучения (до 18 триллионов токенов), улучшенными знаниями, возможностями программирования и математики, а также поддержкой длины контекста до 128 тысяч токенов.
Компания Alibaba's Qwen объявила о выпуске серии языковых моделей Qwen2.5, которые представляют собой плотные модели только с декодером. Открыты семь моделей: с параметрами 0.5B, 1.5B, 3B, 7B, 14B, 32B и 72B. Предобучающий набор данных расширен с 7 триллионов до 18 триллионов токенов. По сравнению с Qwen2, Qwen2.5 демонстрирует улучшения в MMLU (Massive Multitask Language Understanding),
Показать ещё ↓
Источник: Alibaba Qwen —
оригинал