AI21 Labs

Do GPT-2 ao gpt-oss: Análise de Melhorias Arquiteturais e Comparação com Qwen3

A OpenAI lançou seus primeiros modelos de pesos abertos desde 2019 — gpt-oss-120b e gpt-oss-20b. O artigo examina as principais mudanças arquiteturais em relação ao GPT-2: remoção do dropout, substituição das embeddings posicionais absolutas por RoPE, transição de GELU para SwiGLU, introdução de mistura de especialistas (MoE) e atenção de consulta agrupada (GQA). Também discute a otimização MXFP4 para execução em uma única GPU e comparação com Qwen3 e GPT-5.

OpenAI Alibaba/Qwen Meta Google/DeepMind AI21 Labs Tencent