AI21 Labs

De GPT-2 à gpt-oss : analyse des améliorations architecturales et comparaison avec Qwen3

OpenAI a publié ses premiers modèles à poids ouverts depuis 2019 — gpt-oss-120b et gpt-oss-20b. L'article examine les principales modifications architecturales par rapport à GPT-2 : suppression du dropout, remplacement des plongements positionnels absolus par RoPE, transition de GELU à SwiGLU, introduction du mélange d'experts (MoE) et de l'attention par requêtes groupées (GQA). Il aborde également l'optimisation MXFP4 pour l'exécution sur un seul GPU ainsi qu'une comparaison avec Qwen3 et GPT-5.

OpenAI Alibaba/Qwen Meta Google/DeepMind AI21 Labs Tencent