Profilointi PyTorchissa (Osa 3): Huomio on kaikki mitä profiloidaan
Tämä artikkeli profiloi huomiointimekanismeja PyTorchissa vertaillen naiivia huomiointia, paikan päällä tehtävää optimointia ja Scaled Dot Product Attention (SDPA) -taustajärjestelmiä. Se paljastaa, että SDPA:n matemaattinen taustajärjestelmä on hitaampi kuin naiivi huomiointi johtuen Tensor Coren vajaakäytöstä, maskin uudelleenrakennuksesta ja safe softmax -ylikuormasta.
PyTorch
NVIDIA

