AI21 Labs — AI-nieuws en modellen

Modellen 🇺🇸

Van GPT-2 naar gpt-oss: Analyse van architectuurverbeteringen en vergelijking met Qwen3

OpenAI heeft sinds 2019 zijn eerste open-gewichtsmodellen uitgebracht — gpt-oss-120b en gpt-oss-20b. Het artikel onderzoekt de belangrijkste architectuurwijzigingen ten opzichte van GPT-2: verwijdering van dropout, vervanging van absolute positionele embeddings door RoPE, overgang van GELU naar SwiGLU, introductie van mixture of experts (MoE) en grouped query attention (GQA). Ook worden MXFP4-optimalisatie voor het draaien op een enkele GPU en een vergelijking met Qwen3 en GPT-5 besproken.

OpenAI

Alibaba/Qwen