Distilasi Pengetahuan: Dataset sebagai Guru

Distilasi pengetahuan adalah teknik yang mentransfer pengetahuan dari model yang besar dan kompleks (guru) ke model yang lebih kecil dan sederhana (murid). Artikel ini membahas distilasi dataset, sebuah variasi yang mensintesis dataset kecil yang menangkap informasi penting dari dataset asli, sehingga model dapat dilatih langsung dari dataset tersebut tanpa memerlukan model guru pada saat inferensi. Pendekatan ini mengurangi biaya komputasi dan jejak memori dari pelatihan sambil mempertahankan kinerja. Artikel ini mengeksplorasi metodologi dan potensi aplikasi dari distilasi dataset.