От GPT-2 до gpt-oss: анализ архитектурных улучшений и сравнение с Qwen3
OpenAI выпустила первые с 2019 года открытые модели с весами — gpt-oss-120b и gpt-oss-20b. В статье разбираются ключевые архитектурные изменения по сравнению с GPT-2: отказ от dropout, замена абсолютных позиционных эмбеддингов на RoPE, переход с GELU на SwiGLU, внедрение смеси экспертов (MoE) и группированного внимания запросов (GQA). Также обсуждается оптимизация MXFP4 для запуска на одной GPU и сравнение с Qwen3 и GPT-5.
OpenAI
Alibaba/Qwen
Meta
Google/DeepMind
AI21 Labs
Tencent
Sebastian Raschka27.07 · 18:03