Creativiteit van diffusiemodellen: een wiskundige uitleg van Google Research

Onderzoekers van Google Research presenteerden een studie waarin de aard van creativiteit in diffusiemodellen wordt uitgelegd. Ze toonden aan dat het vermogen van een model om nieuwe gegevens te genereren, in plaats van alleen trainingsvoorbeelden te kopiëren, een wiskundig voorspelbaar gevolg is van hoe neurale netwerken worden getraind. Tijdens de training maakt het neurale netwerk op natuurlijke wijze de scorefunctie gladder—een vectorveld dat het denoisingproces stuurt. Deze afvlakking, scoresmoothing genoemd, zorgt ervoor dat deeltjes stoppen op tussenliggende posities in plaats van exact trainingspunten te reproduceren, wat nieuwe, plausibele monsters oplevert. In hoogdimensionale ruimtes treedt het effect alleen op langs raakrichtingen aan de latente datamanifold, zonder de convergentie naar de manifold zelf te vertragen. Zo bereikt het model een balans tussen kwaliteit en originaliteit: afbeeldingen zijn zowel realistisch als origineel. Het werk werd gepresenteerd op ICLR 2026.