Wissensdestillation: Der Datensatz als Lehrer
Wissensdestillation überträgt Wissen von einem großen Modell auf ein kleineres. Ein neuer Ansatz, die Datensatzdestillation, synthetisiert einen kleinen Datensatz, der die wesentlichen Informationen aus dem Originaldatensatz erfasst und so das direkte Training aus dem Datensatz ohne Lehrermodell ermöglicht.
Meta AI (GNews)28.07 · 22:01

