Construindo LLMs do Zero: Curso Completo por Sebastian Raschka

Sebastian Raschka, autor do livro "Build a Large Language Model (From Scratch)", lançou um curso estendido sobre a construção de um LLM do zero, composto por vários vídeos totalizando cerca de 15 horas. O curso começa com a configuração do ambiente de desenvolvimento usando uv, depois aborda o trabalho com dados de texto, incluindo tokenização, Byte Pair Encoding (BPE) e carregadores de dados. Em seguida, explica a codificação de mecanismos de atenção (autoatenção, atenção causal, atenção multi-cabeça) do zero, seguida pela demonstração da construção da arquitetura do LLM. O curso também mostra o pré-treinamento do modelo em dados não rotulados, o ajuste fino para classificação (usando spam como exemplo) e o ajuste fino por instruções. Como bônus para assinantes pagantes, há um vídeo não técnico de 2,5 horas disponível, discutindo o panorama dos LLMs em 2025 e as mudanças desde 2018. Raschka observa que construir um LLM do zero é a melhor maneira de entender como eles funcionam, fazendo uma analogia com a montagem de um carro de corrida a partir de um kart. Os vídeos foram originalmente criados como material suplementar para o livro, mas também funcionam como conteúdo autônomo.