Die verborgene Grammatik von Sprachmodellen: Drei Entdeckungen zur Struktur der Textgenerierung

Der Autor führte eine zweijährige Studie zur internen Struktur von Sprachmodellen durch und fand heraus, dass die Textgenerierung stabilen grammatikalischen Pfaden folgt, Modelle eine interne Karte der Satzrichtung aufbauen und Unsicherheit erst in späteren Phasen der spezifischen Wortauswahl entsteht.

OpenAI