AI21 Labs

GPT-2:sta gpt-oss:iin: Arkkitehtonisten parannusten analyysi ja vertailu Qwen3:een

OpenAI on julkaissut ensimmäiset avoimen painon mallinsa sitten vuoden 2019 — gpt-oss-120b ja gpt-oss-20b. Artikkeli tarkastelee keskeisiä arkkitehtonisia muutoksia verrattuna GPT-2:een: dropoutin poistaminen, absoluuttisten paikkaupotuksien korvaaminen RoPE:lla, siirtyminen GELU:sta SwiGLU:hun, asiantuntijasekoituksen (MoE) ja ryhmitellyn kyselyhuomion (GQA) käyttöönotto. Se käsittelee myös MXFP4-optimointia yhdelle GPU:lle ja vertailua Qwen3:een sekä GPT-5:een.

OpenAI Alibaba/Qwen Meta Google/DeepMind AI21 Labs Tencent