Implementación de un Transformer Solo Decodificador para LLM desde Cero en Python

Vladimir, usando como ejemplo una tarea de marcado de agua para texto con licencia, implementa un bloque transformador para una LLM solo-decoder. Explica que el transformador es una arquitectura del artículo de Google "Attention Is All You Need", donde la secuencia se procesa en paralelo mediante el mecanismo de atención. La base de la atención de múltiples cabezas son tres matrices de proyección Q, K, V. En la primera etapa se calcula la similitud entre tokens (matriz de atención), y en la segunda, se mezcla el contenido de los tokens según los pesos encontrados. Para mayor eficiencia, todas las cabezas de atención se implementan mediante una única proyección lineal grande. Después de la atención, se aplica una red de avance (Feed Forward Network) con activación GELU y dropout. El ensamblaje del transformador incluye normalización (Pre-LN) y conexiones residuales. También se añade una máscara causal para el decodificador. En conjunto, el bloque está listo para su uso en el ensamblaje de una LLM, entrenamiento y generación de texto.