Do GPT-2 ao gpt-oss: Análise de Melhorias Arquiteturais e Comparação com Qwen3
A OpenAI lançou seus primeiros modelos de pesos abertos desde 2019 — gpt-oss-120b e gpt-oss-20b. O artigo examina as principais mudanças arquiteturais em relação ao GPT-2: remoção do dropout, substituição das embeddings posicionais absolutas por RoPE, transição de GELU para SwiGLU, introdução de mistura de especialistas (MoE) e atenção de consulta agrupada (GQA). Também discute a otimização MXFP4 para execução em uma única GPU e comparação com Qwen3 e GPT-5.
OpenAI
Alibaba/Qwen
Meta
Google/DeepMind
AI21 Labs
Tencent



