PyTorch — أخبار ونماذج الذكاء الاصطناعي

الأبحاث 🇺🇸

تحليل الأداء في PyTorch (الجزء 3): الانتباه هو كل ما تحتاج لتحليله

تقوم هذه المقالة بتحليل أداء آليات الانتباه في PyTorch، مقارنة الانتباه الساذج والتحسين الموضعي والخلفيات الخاصة بـ Scaled Dot Product Attention (SDPA). تكشف النتائج أن الخلفية الرياضية لـ SDPA أبطأ من الانتباه الساذج بسبب ضعف استخدام Tensor Core، وإعادة بناء القناع، وزيادة التكلفة الحسابية لـ safe softmax.

PyTorch

NVIDIA

Hugging Face blog29.07 · 23:03

الأبحاث 🇺🇸

IEEE Launches Online Training Course on Large Language Models

IEEE has introduced a five-course online program, 'Large Language Models Demystified,' to help technical professionals master LLM engineering. The program covers transformer architectures, model optimization, RAG, RLHF, and deployment, aiming to bridge the gap between AI users and builders.

IEEE

PyTorch

IEEE Spectrum AI28.07 · 16:03