Destilación de conocimiento: el conjunto de datos como profesor

La destilación de conocimiento es una técnica que transfiere conocimiento de un modelo grande y complejo (profesor) a un modelo más pequeño y simple (estudiante). El artículo analiza la destilación de conjuntos de datos, una variante que sintetiza un conjunto de datos pequeño que captura la información esencial del conjunto original, permitiendo que un modelo se entrene directamente a partir del conjunto de datos sin necesidad de un modelo profesor en el momento de la inferencia. Este enfoque reduce el costo computacional y la huella de memoria del entrenamiento, manteniendo el rendimiento. El artículo explora la metodología y las posibles aplicaciones de la destilación de conjuntos de datos.