Qwen2.5-Max: Menjelajahi Kemampuan Model MoE Skala Besar

Tim Qwen telah merilis Qwen2.5-Max, sebuah model bahasa besar yang didasarkan pada arsitektur Mixture-of-Experts (MoE), yang dilatih awal pada lebih dari 20 triliun token. Setelah pelatihan awal, diterapkan fine-tuning terawasi (Supervised Fine-Tuning/SFT) dan pembelajaran penguatan dari umpan balik manusia (Reinforcement Learning from Human Feedback/RLHF). Model ini dibandingkan dengan DeepSeek V3, GPT-4o, dan Claude-3.5-Sonnet pada tolok ukur MMLU-Pro, LiveCodeBench, LiveBench, Arena-Hard, dan GPQA-Diamond. Qwen2.5-Max mengungguli DeepSeek V3 di Arena-Hard, LiveBench, LiveCodeBench, dan GPQA-Diamond, sementara menunjukkan hasil yang kompetitif di MMLU-Pro. Untuk model dasar, perbandingan dilakukan dengan DeepSeek V3, Llama-3.1-405B, dan Qwen2.5-72B — Qwen2.5-Max menunjukkan keunggulan signifikan di sebagian besar pengujian. Model ini tersedia di Qwen Chat dan melalui API Alibaba Cloud (nama model: qwen-max-2025-01-25). API ini kompatibel dengan API OpenAI.