От GPT-2 до gpt-oss: анализ архитектурных улучшений и сравнение с Qwen3

OpenAI выпустила открытые весовые модели gpt-oss-120b и gpt-oss-20b, первые полностью открытые модели с 2019 года, когда был опубликован GPT-2. Архитектура моделей основана на трансформере, но включает несколько ключевых улучшений. Во-первых, dropout больше не используется, так как LLM обучаются только одну эпоху на огромных наборах данных, что снижает риск переобучения. Во-вторых, абсолютные позиционные кодировки заменены на RoPE, что позволяет модели эффективнее учитывать порядок токенов. В-третьих, функция активации GELU уступила место Swish/SiLU, которая вычислительно дешевле. Кроме того, стандартный feedforward-модуль заменён на SwiGLU с меньшим количеством параметров, а также используется Mixture-of-Experts, где для каждого токена активируется лишь часть экспертов, что увеличивает общую ёмкость модели без пропорционального роста вычислительных затрат. Также применяется Grouped Query Attention, которая уменьшает использование памяти за счёт группировки ключей и значений между несколькими головками внимания. Модели доступны с оптимизацией MXFP4, позволяющей запускать 20B на потребительских GPU с 16 ГБ ОЗУ, а 120B — на одном H100 с 80 ГБ. Статья также содержит сравнение с Qwen3 и упоминает о скором выходе GPT-5.