Tiedon tislauksesta tarpeeksi edullista laajamittaiseen käyttöön

Tiedon tislaus, jossa pienempi opetusmalli oppii jäljittelemään suurempaa opetusmallia, on vakiintunut tekniikka suurten kielimallien pakkaamiseen. Viimeaikaiset avoimen lähdekoodin LLM-mallit, kuten Kimi-K3, jossa on 2,8 biljoonaa parametria, vaativat noin 3 teratavua VRAM-muistia, mikä tekee pakkaamisesta välttämätöntä. Artikkeli 'Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss' käsittelee tislauksen korkeita kustannuksia tallentamalla opetusmallin top-K-logitit offline-tilassa, mikä poistaa tarpeen pitää opetusmallia muistissa. Se esittelee myös yhdistetyn, paloitellun KL-häviön, joka laskee häviön paloissa välttäen koko sanaston ja sekvenssin kattavan matriisin. Tämä vähentää VRAM-muistin huippukäytön 250 gigatavusta 128 gigatavuun yhdellä H200-sirulla, mikä mahdollistaa tislauksen 32 000 merkin kontekstilla yhdellä GPU:lla neljän solmun sijaan, ja askelajat ovat 5 kertaa nopeampia. Opiskelijamalli, joka on tislattu Llama 3.1 8B Instruct -mallista 3,2 miljardin parametrin kokoon, säilyttää suurimman osan tarkkuudesta vertailutesteissä, kuten BoolQ ja HellaSwag, ja pysyy yhdeksän pisteen sisällä MMLU:ssa.