Profiling in PyTorch (Teil 3): Attention ist alles, was Sie profilen

Dieser Beitrag profiliert Aufmerksamkeitsmechanismen in PyTorch und vergleicht naive Aufmerksamkeit, In-Place-Optimierung und Backends der Skalierten Punktprodukt-Aufmerksamkeit (SDPA). Es zeigt, dass das Mathematik-Backend von SDPA aufgrund von Unterauslastung der Tensor Cores, Maskenrekonstruktion und Overhead durch sicheres Softmax langsamer ist als naive Aufmerksamkeit.

PyTorch NVIDIA

Texas A&M University schließt sich der Genesis-Mission an, um die Wissenschaft mit KI zu transformieren

Die Texas A&M University hat sich der Genesis-Mission angeschlossen, einem Gemeinschaftsprojekt, das darauf abzielt, künstliche Intelligenz zu nutzen, um die wissenschaftliche Forschung zu revolutionieren. Die Initiative bringt mehrere Institutionen zusammen, um KI in verschiedenen wissenschaftlichen Disziplinen anzuwenden.