Qwen2.5-Max: изучение возможностей крупномасштабной модели MoE

Команда Qwen выпустила Qwen2.5-Max — большую языковую модель на основе архитектуры смеси экспертов (MoE, Mixture-of-Experts), предварительно обученную на более чем 20 триллионах токенов. После предварительного обучения были применены контролируемая тонкая настройка (SFT, supervised fine-tuning) и обучение с подкреплением на основе обратной связи от человека (RLHF, reinforcement learning from