Escribiendo un Transformer Solo Decodificador para LLM desde Cero en Python

El autor Vladimir, utilizando el ejemplo de una tarea de marcas de agua para texto licenciado, implementa un bloque transformer para un LLM solo decodificador. Explica que el transformer es una arquitectura del artículo de Google "Attention Is All You Need", donde una secuencia se procesa en paralelo mediante un mecanismo de atención. La atención multi-cabeza se basa en tres matrices de proyección: Q, K, V. En el primer paso, se calcula la similitud entre tokens (matriz de atención), y en el segundo, el contenido de los tokens se mezcla según los pesos encontrados. Para mayor eficiencia, todas las cabezas de atención se implementan a través de una única proyección lineal grande. Tras la atención, se aplica una red feed-forward con activación GELU y dropout. La construcción del transformer incluye normalización (Pre-LN) y conexiones residuales. Además, se utiliza una máscara causal para el decodificador. En conjunto, el bloque está listo para su uso en el ensamblaje de un LLM, entrenamiento y generación de texto.