Von GPT-2 zu gpt-oss: Analyse architektonischer Fortschritte und Vergleich mit Qwen3

OpenAI hat mit gpt-oss-120b und gpt-oss-20b seine ersten Open-Weight-LLMs seit GPT-2 im Jahr 2019 veröffentlicht. Die Modelle weisen mehrere architektonische Verbesserungen gegenüber GPT-2 auf: Dropout wurde entfernt, absolute Positions-Embeddings durch RoPE ersetzt, die Aktivierung von GELU auf SwiGLU umgestellt, ein Mixture-of-Experts (MoE) hinzugefügt und Grouped Query Attention (GQA) verwendet. MoE erhöht die Gesamtparameterzahl, aktiviert aber pro Token nur eine Teilmenge, wodurch die Inferenz effizient bleibt. GQA reduziert die Anzahl der Key-Value-Heads, um den Speicherverbrauch zu senken. Die Modelle verwenden die MXFP4-Optimierung, um auf einzelne GPUs zu passen (20B auf einer 16-GB-Verbraucher-GPU, 120B auf einer H100 80GB). Im Vergleich zu Qwen3 erkundet gpt-oss Abwägungen zwischen Breite und Tiefe. Attention Bias und Sinks werden ebenfalls diskutiert. Der Artikel erwähnt auch kurz GPT-5 im Kontext. Benchmarks zeigen wettbewerbsfähige Leistung, obwohl detaillierte Ergebnisse nicht angegeben werden.