Diffuusiomallien luovuus: matemaattinen selitys Google Researchilta
Google/DeepMind
Googlen tutkijat ovat osoittaneet, että diffuusiomallien kyky tuottaa uutta dataa, sen sijaan että ne vain muistaisivat harjoitusaineiston, on matemaattinen seuraus pisteosuma- tai score-funktion tasoittamisesta neuroverkkojen harjoituksen aikana. Tasoittaminen pakottaa mallin interpoloimaan datapisteiden välillä, luoden uusia, uskottavia näytteitä.
Google Researchin tutkijat esittelivät tutkimuksen, joka selittää luovuuden luonnetta diffuusiomalleissa. He osoittivat, että mallin kyky tuottaa uutta dataa sen sijaan, että se vain kopioisi harjoitusesimerkkejä, on matemaattisesti ennustettava seuraus hermoverkkojen harjoittamisesta. Harjoituksen aikana hermoverkko luonnollisesti tasoittaa score-funktiota, joka on vektorikenttä, joka ohjaa denoising-prosessia. Tämä tasoitus, jota kutsutaan score-tasoitukseksi, saa hiukkaset pysähtymään välipisteisiin sen sijaan, että ne toistaisivat tarkasti harjoituspisteitä, luoden uusia, uskottavia näytteitä. Korkeaulotteisissa avaruuksissa vaikutus näkyy vain latentin datamanifoldin tangenttisuunnilla hidastamatta konvergenssia itse manifoldiin. Siten malli saavuttaa tasapainon laadun ja uutuuden välillä: kuvat ovat sekä realistisia että omaperäisiä. Työ esiteltiin ICLR 2026 -konferenssissa.
Lähde: Google Research —
Alkuperäinen
