GPT-2:sta gpt-oss:iin: Arkkitehtonisten parannusten analyysi ja vertailu Qwen3:een
OpenAI on julkaissut ensimmäiset avoimen painon mallinsa sitten vuoden 2019 — gpt-oss-120b ja gpt-oss-20b. Artikkeli tarkastelee keskeisiä arkkitehtonisia muutoksia verrattuna GPT-2:een: dropoutin poistaminen, absoluuttisten paikkaupotuksien korvaaminen RoPE:lla, siirtyminen GELU:sta SwiGLU:hun, asiantuntijasekoituksen (MoE) ja ryhmitellyn kyselyhuomion (GQA) käyttöönotto. Se käsittelee myös MXFP4-optimointia yhdelle GPU:lle ja vertailua Qwen3:een sekä GPT-5:een.
OpenAI
Alibaba/Qwen
Meta
Google/DeepMind
AI21 Labs
Tencent



