Diffusions-Sprachmodelle: Wie sie funktionieren, was funktioniert und was Fragen aufwirft

Diffusions-Sprachmodelle (dLLMs) erzeugen Text parallel, indem sie Masken an beliebigen Stellen füllen, im Gegensatz zu autoregressiven LLMs, die Token für Token von links nach rechts erzeugen. Der Ansatz der maskierten Diffusion, der mit BERT verwandt ist, verwendet einen Vorwärtsprozess, der Token durch MASK ersetzt, und einen Rückwärtsprozess, der sie wiederherstellt. Zu den Vorteilen gehören die parallele Generierung, das Füllen von Textlücken, die Robustheit gegenüber umgekehrten Abfragen (wie von LLaDA gezeigt) und eine bessere Leistung bei begrenzten Daten. Allerdings leiden dLLMs unter Ineffizienz des KV-Cache, der Annahme unabhängiger Token und der Generierung fester Länge, was Tricks für variable Längen erfordert. Die Bewertung verwendet oft Perplexität (GenPPL), leidet jedoch unter Wiederholungskollaps; auch Diversitätsmetriken sind erforderlich. Die Anpassung vortrainierter autoregressiver Modelle an dLLMs ist ein üblicher Ansatz, mit Methoden wie DiffuGPT, DiffuLLaMA, Dream und LLaDA, das auf Ling 2.0 weiter vortrainiert wurde, um 16B und 100B Parameter zu erreichen. Der Artikel erwähnt auch die eigenen Experimente und Herausforderungen der Autoren.