Criatividade dos Modelos de Difusão: Uma Explicação Matemática do Google Research
Google/DeepMind
Pesquisadores do Google mostraram que a capacidade dos modelos de difusão de gerar novos dados, em vez de simplesmente memorizar o conjunto de treinamento, é uma consequência matemática da suavização da função de score durante o treinamento da rede neural. A suavização força o modelo a interpolar entre pontos de dados, criando novas amostras plausíveis.
Pesquisadores do Google Research apresentaram um estudo que explica a natureza da criatividade em modelos de difusão. Eles mostraram que a capacidade de um modelo gerar novos dados, em vez de meramente copiar exemplos de treinamento, é uma consequência matematicamente previsível de como as redes neurais são treinadas. Durante o treinamento, a rede neural suaviza naturalmente a função de pontuação — um campo vetorial que orienta o processo de denoising. Essa suavização, chamada de suavização de pontuação (score smoothing), faz com que as partículas parem em posições intermediárias, em vez de reproduzir exatamente os pontos de treinamento, criando amostras novas e plausíveis. Em espaços de alta dimensão, o efeito aparece apenas ao longo de direções tangentes à variedade de dados latentes, sem retardar a convergência para a própria variedade. Assim, o modelo alcança um equilíbrio entre qualidade e novidade: as imagens são tanto realistas quanto originais. O trabalho foi apresentado no ICLR (International Conference on Learning Representations) 2026.
Fonte: Google Research —
original
