AI21 Labs — AI 新闻与模型

模型 🇺🇸

从GPT-2到gpt-oss：架构改进分析及与Qwen3的对比

OpenAI发布了自2019年以来的首批开源权重模型——gpt-oss-120b和gpt-oss-20b。文章分析了与GPT-2相比的关键架构变化：去除dropout、将绝对位置嵌入替换为旋转位置编码（RoPE）、从GELU激活函数转向SwiGLU、引入混合专家模型（MoE）和分组查询注意力（GQA）。此外，还讨论了在单GPU上运行的MXFP4优化以及与Qwen3和GPT-5的对比。

OpenAI

Alibaba/Qwen