Form, Symmetrien und Struktur: Die sich wandelnde Rolle der Mathematik in der Forschung zum maschinellen Lernen

Dieser Artikel von The Gradient untersucht die sich wandelnde Rolle der Mathematik im maschinellen Lernen und argumentiert, dass die Mathematik trotz des rasanten empirischen Fortschritts, der die Theorie hinter sich lässt, für nachträgliche Erklärungen und das Design auf hoher Ebene unverzichtbar bleibt. Er hebt hervor, wie reine Mathematik (Topologie, Algebra, Geometrie) nun angewendet wird, um Deep-Learning-Modelle zu verstehen, wobei Werkzeuge wie intrinsische Dimension und Krümmung zur Charakterisierung des Modellverhaltens eingesetzt werden.

Profiling in PyTorch (Teil 3): Attention ist alles, was Sie profilen

Dieser Beitrag profiliert Aufmerksamkeitsmechanismen in PyTorch und vergleicht naive Aufmerksamkeit, In-Place-Optimierung und Backends der Skalierten Punktprodukt-Aufmerksamkeit (SDPA). Es zeigt, dass das Mathematik-Backend von SDPA aufgrund von Unterauslastung der Tensor Cores, Maskenrekonstruktion und Overhead durch sicheres Softmax langsamer ist als naive Aufmerksamkeit.

PyTorch NVIDIA