Implementierung eines Decoder-Only Transformers für ein LLM von Grund auf in Python

Der Autor einer Artikelserie beschreibt detailliert die Implementierung eines Transformer-Blocks für ein kleines Decoder-Only LLM mit dem PyTorch-Framework. Behandelte Komponenten umfassen: maskierte Multi-Head Attention, Feed Forward Network mit GELU, Normalisierungsschicht und residuale Verbindungen. Der Artikel erklärt den Unterschied zur ursprünglichen Architektur: Es wird Pre-Normalisierung (Pre-LN) anstelle von Post-Normalisierung verwendet, um die Trainingsstabilität zu verbessern.

Google/DeepMind OpenAI Meta

Erstes Chat-System der Welt könnte Persönlichkeiten ändern: ELIZA-Code enthüllt neue Geheimnisse

Neu entdeckter Quellcode von ELIZA, dem ersten Chatbot der Geschichte, zeigt, dass das Programm weitaus komplexer war als bisher angenommen. ELIZA imitierte nicht nur einen Psychotherapeuten, sondern war eine Plattform für mehrere „Persönlichkeiten“ (Skripte), konnte Skripte bearbeiten und sich an Kontext erinnern. Dies verändert das Verständnis der frühen KI-Entwicklung.

MIT