Kennisdistillatie betaalbaar genoeg maken voor gebruik op grote schaal

Knowledge distillation, waarbij een kleiner studentmodel leert om een groter docentmodel te evenaren, is een standaardtechniek voor het comprimeren van grote taalmodellen. Recente open-source LLM's zoals Kimi-K3 met 2,8 biljoen parameters vereisen ongeveer 3 TB aan VRAM, waardoor compressie essentieel is. Het paper 'Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss' pakt de hoge kosten van distillatie aan door de top-K logits van de docent offline te cachen, waardoor de docent niet in het geheugen hoeft te blijven. Het introduceert ook een gefuseerd chunked KL-verlies dat het verlies in chunks berekent, waardoor de volledige vocabulaire×sequentie-matrix wordt vermeden. Dit verlaagt de piek-VRAM van 250 GB naar 128 GB op een enkele H200, waardoor distillatie bij 32K context op één GPU mogelijk wordt in plaats van vier nodes, met 5x snellere staptijden. Het studentmodel, gedestilleerd van Llama 3.1 8B Instruct naar 3.2B parameters, behoudt de meeste nauwkeurigheid op benchmarks zoals BoolQ en HellaSwag en blijft binnen negen punten op MMLU.