AI21 Labs — أخبار ونماذج الذكاء الاصطناعي

النماذج 🇺🇸

من GPT-2 إلى gpt-oss: تحليل للتحسينات المعمارية ومقارنتها مع Qwen3

أطلقت OpenAI أول نماذجها ذات الأوزان المفتوحة منذ عام 2019 — وهما gpt-oss-120b و gpt-oss-20b. تفحص المقالة التغييرات المعمارية الرئيسية مقارنة بـ GPT-2: إزالة التسرب (dropout)، استبدال التضمينات الموضعية المطلقة بـ RoPE، الانتقال من GELU إلى SwiGLU، إدخال خليط الخبراء (MoE) والانتباه الاستعلامي المجمع (GQA). كما تناقش تحسين MXFP4 لتشغيل النماذج على وحدة معالجة رسومية واحدة ومقارنتها مع Qwen3 و GPT-5.

OpenAI

Alibaba/Qwen