Креативность диффузионных моделей: математическое объяснение от Google Research
Google/DeepMind
Исследователи Google показали, что способность диффузионных моделей генерировать новые данные, а не просто запоминать обучающую выборку, является математическим следствием сглаживания функции скора при обучении нейросети. Сглаживание заставляет модель интерполировать между точками данных, создавая новые, правдоподобные образцы.
Исследователи из Google Research представили работу, объясняющую природу креативности в диффузионных моделях. Они показали, что способность модели генерировать новые данные, а не просто копировать обучающие примеры, является математически предсказуемым следствием того, как обучаются нейронные сети. Во время обучения нейронная сеть естественным образом сглаживает функцию скоринга (score function)
Показать ещё ↓
Источник: Google Research —
оригинал