Дистилляция знаний: набор данных как учитель
Дистилляция знаний передает знания от большой модели к меньшей. Новый подход, дистилляция наборов данных, синтезирует небольшой набор данных, который захватывает существенную информацию из исходного набора, позволяя обучаться напрямую на наборе данных без модели-учителя.
Дистилляция знаний (knowledge distillation) — это метод, который передаёт знания от большой сложной модели (учителя) к более простой и компактной модели (ученику). В статье рассматривается дистилляция набора данных (dataset distillation) — вариация этого подхода, при которой синтезируется небольшой набор данных, содержащий основную информацию из исходного датасета. Это позволяет обучать модель
Показать ещё ↓
Источник: Meta AI (GNews) —
оригинал