Von GPT-2 zu gpt-oss: Analyse architektonischer Fortschritte und Vergleich mit Qwen3
OpenAI veröffentlichte gpt-oss-120b und gpt-oss-20b, ihre ersten Modelle mit offenen Gewichten seit GPT-2. Die Architektur zeichnet sich durch Mixture-of-Experts, Grouped Query Attention, RoPE, SwiGLU und MXFP4-Optimierung für lokale Inferenz aus. Vergleiche mit GPT-2 und Qwen3 heben Fortschritte bei Abwägungen zwischen Breite und Tiefe sowie Aufmerksamkeitssenken hervor.
OpenAI
Alibaba/Qwen
Meta
Google/DeepMind
AI21 Labs
Tencent



