Aufbau eines Decoder-Only Transformers für ein LLM von Grund auf in Python

Autor Vladimir implementiert am Beispiel einer Aufgabe zum Watermarking von lizenzierten Texten einen Transformer-Block für eine Decoder-only-LLM. Er erklärt, dass der Transformer eine Architektur aus dem Google-Artikel „Attention Is All You Need“ ist, bei der Sequenzen parallel mithilfe des Aufmerksamkeitsmechanismus verarbeitet werden. Dem Multi-Head Attention liegen drei Projektionsmatrizen Q, K, V zugrunde. Im ersten Schritt wird die Ähnlichkeit der Token (Aufmerksamkeitsmatrix) berechnet, im zweiten Schritt werden die Inhalte der Token entsprechend den ermittelten Gewichten gemischt. Aus Effizienzgründen werden alle Aufmerksamkeitsköpfe über eine einzige große lineare Projektion realisiert. Nach der Attention kommt ein Feed-Forward-Netzwerk mit GELU-Aktivierung und Dropout. Der Zusammenbau des Transformers umfasst Normalisierung (Pre-Layer-Normalization) und Residualverbindungen. Zudem wird eine Zukunftsmaske (Causal Mask) für den Decoder hinzugefügt. Insgesamt ist der Block bereit für den Einsatz beim Zusammenbau der LLM, beim Training und bei der Textgenerierung.