AI21 Labs

De GPT-2 a gpt-oss: Análisis de las mejoras arquitectónicas y comparación con Qwen3

OpenAI ha lanzado sus primeros modelos de pesos abiertos desde 2019: gpt-oss-120b y gpt-oss-20b. El artículo examina cambios arquitectónicos clave respecto a GPT-2: eliminación de dropout, sustitución de embeddings posicionales absolutos por RoPE, transición de GELU a SwiGLU, introducción de mezcla de expertos (MoE) y atención de consulta agrupada (GQA). También se discute la optimización MXFP4 para ejecutarse en una sola GPU y la comparación con Qwen3 y GPT-5.

OpenAI Alibaba/Qwen Meta Google/DeepMind AI21 Labs Tencent