AI21 Labs — KI-Nachrichten & Modelle

Modelle 🇺🇸

Von GPT-2 zu gpt-oss: Analyse der architektonischen Verbesserungen und Vergleich mit Qwen3

OpenAI hat seit 2019 seine ersten Modelle mit offenen Gewichten veröffentlicht – gpt-oss-120b und gpt-oss-20b. Der Artikel untersucht die wichtigsten architektonischen Änderungen im Vergleich zu GPT-2: Entfernung von Dropout, Ersetzung der absoluten Positionseinbettungen durch RoPE, Übergang von GELU zu SwiGLU, Einführung von Mixture of Experts (MoE) und Grouped Query Attention (GQA). Zudem werden die MXFP4-Optimierung für den Betrieb auf einer einzelnen GPU und der Vergleich mit Qwen3 und GPT-5 diskutiert.

OpenAI

Alibaba/Qwen