Kreativität von Diffusionsmodellen: Eine mathematische Erklärung von Google Research
Google/DeepMind
Google-Forscher haben gezeigt, dass die Fähigkeit von Diffusionsmodellen, neue Daten zu generieren, anstatt lediglich den Trainingssatz auswendig zu lernen, eine mathematische Konsequenz der Glättung der Score-Funktion während des neuronalen Netzwerktrainings ist. Die Glättung zwingt das Modell, zwischen Datenpunkten zu interpolieren und dabei neue, plausible Stichproben zu erzeugen.
Forscher von Google Research veröffentlichten eine Studie, die die Natur der Kreativität in Diffusionsmodellen erklärt. Sie zeigten, dass die Fähigkeit eines Modells, neue Daten zu erzeugen, anstatt lediglich Trainingsbeispiele zu kopieren, eine mathematisch vorhersagbare Folge des Trainings neuronaler Netze ist. Während des Trainings glättet das neuronale Netz auf natürliche Weise die Score-Funktion – ein Vektorfeld, das den Entrauschungsprozess lenkt. Diese Glättung, genannt Score-Smoothing, führt dazu, dass Partikel an Zwischenpositionen stoppen, anstatt Trainingspunkte exakt zu reproduzieren, wodurch neue, plausible Stichproben entstehen. In hochdimensionalen Räumen tritt dieser Effekt nur entlang der Tangentialrichtungen zur latenten Datenmannigfaltigkeit auf, ohne die Konvergenz zur Mannigfaltigkeit selbst zu verlangsamen. Dadurch erzielt das Modell eine Balance zwischen Qualität und Neuheit: Bilder sind sowohl realistisch als auch originell. Die Arbeit wurde auf der ICLR 2026 präsentiert.
Quelle: Google Research —
Original