تصميم نوى GPU عالية الأداء باستخدام TileLang: المضاعفات المصفوفية للموتّر، والـ Softmax المدمجة، وFlashAttention، والضبط التلقائي
TileLang هي لغة خاصة بمجال عالية المستوى مكتوبة بلغة بايثون تهدف إلى تبسيط إنشاء نوى GPU. يوضح الدليل خطوة بخطوة تنفيذ مهام معقدة: المضاعفات المصفوفية للموتّر (tensor GEMMs)، والـ Softmax المدمجة (fused softmax)، وFlashAttention، حيث يتولى المترجم التفاصيل منخفضة المستوى لـ CUDA.
تم تقديم TileLang، وهي لغة عالية المستوى خاصة بمجال معين مبنية على Python، لتبسيط تصميم نوى GPU عالية الأداء. يوضح برنامج تعليمي خطوة بخطوة تنفيذ مهام عمل معقدة، بما في ذلك حسابات المصفوفات (GEMM) المجزأة على نوى الموتر، وتجميع softmax، وFlashAttention. يتولى المترجم تلقائيًا معالجة تعيين الخيوط المعقد، وتخطيط الذاكرة، وتوليد تعليمات CUDA منخفضة المستوى، مما يسمح للمطورين بالتركيز على المنطق الخوارزمي بدلاً من التحسين اليدوي.
المصدر: MarkTechPost —
الأصلي