확산 모델의 창의성: 구글 리서치의 수학적 설명

Google Research의 연구진이 확산 모델에서 창의성의 본질을 설명하는 연구를 발표했습니다. 그들은 모델이 단순히 훈련 예제를 복사하는 것이 아니라 새로운 데이터를 생성하는 능력이 신경망이 훈련되는 방식의 수학적으로 예측 가능한 결과임을 보여주었습니다. 훈련 중에 신경망은 자연스럽게 점수 함수(노이즈 제거 과정을 안내하는 벡터 필드)를 평활화합니다. 이 평활화는 점수 평활화(score smoothing)라고 불리며, 입자가 훈련 지점을 정확히 재현하는 대신 중간 위치에 멈추게 하여 새롭고 그럴듯한 샘플을 생성합니다. 고차원 공간에서는 이 효과가 잠재 데이터 다양체에 대한 접선 방향으로만 나타나며, 다양체 자체로의 수렴을 늦추지 않습니다. 따라서 모델은 품질과 참신성 사이의 균형을 달성합니다. 즉, 이미지는 사실적이면서도 독창적입니다. 이 연구는 ICLR 2026에서 발표되었습니다.