从GPT-2到gpt-oss:架构改进分析及与Qwen3的对比
OpenAI发布了自2019年以来的首批开源权重模型——gpt-oss-120b和gpt-oss-20b。文章分析了与GPT-2相比的关键架构变化:去除dropout、将绝对位置嵌入替换为旋转位置编码(RoPE)、从GELU激活函数转向SwiGLU、引入混合专家模型(MoE)和分组查询注意力(GQA)。此外,还讨论了在单GPU上运行的MXFP4优化以及与Qwen3和GPT-5的对比。
OpenAI
Alibaba/Qwen
Meta
Google/DeepMind
AI21 Labs
Tencent



