Diskreetti kvantisointi: neuroverkkojen pakkaamisen seuraava edistysaskel

Artikkelin alussa käsitellään neuroverkkojen kvantisoinnin kehitystä perinteisistä liukulukumuodoista kokonaislukutyyppeihin, kuten INT8 ja INT4, ja edelleen diskreettiin kvantisointiin binääristen (1-bittisten) ja kolmitasoisilla (1,58-bittisten) painojen kanssa. Tämä lähestymistapa vähentää radikaalisti mallin kokoa ja mahdollistaa käytön kuluttajalaitteistossa. PrismML:n Bonsai 27B -perhe, joka perustuu Qwen 3.6 27B -malliin, tarjoaa binääriset ja kolmitasoiset versiot, jotka vievät 3,8 gigatavua ja 7,17 gigatavua verrattuna alkuperäisen mallin 53,8 gigatavuun. Yritys väittää säilyttävänsä jopa 90–95 prosenttia alkuperäisistä ominaisuuksista, mutta kirjoittajan testit osoittavat noin 75 prosentin tason matematiikassa ja koodauksessa sekä 60 prosentin tason monimutkaisissa monitoimijaisissa funktiokutsuissa, mikä on silti vaikuttavaa mallille, joka on 10 kertaa pienempi. Kirjoittaja huomauttaa, että kolmitasoinen malli ylittää alkuperäisen nopeudessa, tuottaen tekstiä nopeammin. Lisäksi mukana on spekulatiivinen luonnostelija DSpark, joka lisää tuotantonopeutta 35 prosenttia ilman laadun heikkenemistä. Malli vaatii kuitenkin erityisen llama.cpp-haarukan epästandardin kvantisointimuodon vuoksi, ja kirjoittaja näyttää, miten se rakennetaan ja ajetaan. Kirjoittaja päättää, että tämä edustaa merkittävää saavutusta, joka tarjoaa laadun, joka on verrattavissa suurempiin kvantisoituihin malleihin, mutta mahtuu pienempään näytön muistiin, mikä tekee siitä sopivan paikalliseen käyttöön ja mahdollisesti myös mobiililaitteisiin, kuten iPhone 17 Pro Maxiin.