PyTorch

Últimas notícias, modelos e lançamentos de IA de PyTorch. ['scaled_dot_product_attention']

Pesquisa 🇺🇸

Profiling no PyTorch (Parte 3): Atenção é tudo que você precisa perfilhar

Este post faz a perfilhagem de mecanismos de atenção no PyTorch, comparando atenção ingênua, otimização in-place e backends de Atenção de Produto Escalar (SDPA, na sigla em inglês). Revela que o backend matemático do SDPA é mais lento que a atenção ingênua devido à subutilização do Tensor Core, reconstrução de máscara e sobrecarga do softmax seguro.

PyTorch

NVIDIA

Hugging Face blog29.07 · 23:03

Pesquisa 🇺🇸

IEEE Launches Online Training Course on Large Language Models

IEEE has introduced a five-course online program, 'Large Language Models Demystified,' to help technical professionals master LLM engineering. The program covers transformer architectures, model optimization, RAG, RLHF, and deployment, aiming to bridge the gap between AI users and builders.

IEEE

PyTorch

IEEE Spectrum AI28.07 · 16:03