Wissensdestillation günstig genug für den Einsatz im großen Maßstab machen

Wissensdestillation, bei der ein kleineres Schülermodell lernt, ein größeres Lehrermodell nachzuahmen, ist eine Standardtechnik zur Komprimierung großer Sprachmodelle. Aktuelle Open-Source-LLMs wie Kimi-K3 mit 2,8 Billionen Parametern benötigen etwa 3 TB VRAM, was eine Komprimierung erforderlich macht. Das Paper 'Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss' adressiert die hohen Kosten der Destillation, indem es die Top-K-Logits des Lehrers offline zwischenspeichert und so vermeidet, den Lehrer im Speicher zu halten. Außerdem führt es einen fusionierten, gechunkten KL-Verlust ein, der den Verlust in Chunks berechnet und die vollständige Vokabular-mal-Sequenz-Matrix vermeidet. Dies reduziert den Spitzen-VRAM von 250 GB auf 128 GB auf einer einzelnen H200 und ermöglicht die Destillation mit 32K-Kontext auf einer einzelnen GPU statt auf vier Knoten, bei 5x schnelleren Schrittzeiten. Das Schülermodell, destilliert von Llama 3.1 8B Instruct auf 3.2B Parameter, behält die meiste Genauigkeit bei Benchmarks wie BoolQ und HellaSwag und bleibt innerhalb von neun Punkten bei MMLU.