拡散モデルの創造性:グーグルリサーチによる数学的説明
Google/DeepMind
グーグルの研究者らは、拡散モデルが学習セットを単に記憶するのではなく新しいデータを生成できる能力は、ニューラルネットワーク訓練中にスコア関数を平滑化することの数学的帰結であることを示した。平滑化により、モデルはデータポイント間を補間し、新しく妥当なサンプルを生成する。
Google Researchの研究者らが、拡散モデルにおける創造性の性質を説明する研究を発表した。モデルがトレーニング例を単にコピーするのではなく、新しいデータを生成する能力は、ニューラルネットワークの学習方法に起因する数学的に予測可能な結果であることを示した。トレーニング中、ニューラルネットワークはスコア関数(ノイズ除去プロセスを導くベクトル場)を自然に平滑化する。この平滑化(スコア平滑化と呼ぶ)により、粒子はトレーニング点を正確に再現するのではなく、中間的な位置で停止し、新しくて妥当なサンプルを生成する。高次元空間では、この効果は潜在データ多様体への接線方向にのみ現れ、多様体自体への収束を遅らせることはない。これにより、モデルは品質と新規性のバランスを達成し、画像は現実的でありながら独創的となる。この研究は国際会議ICLR 2026で発表された。
出典: Google Research —
原文
