Nunchaku Lite: 4-bittinen päättely diffuusiomalleille Diffusers-kirjastossa

Nunchaku on SVDQuant (W4A4) -kvantisointimenetelmä diffuusiotransformereille. Uusi Nunchaku Lite -integraatio mahdollistaa kvantisoitujen tarkistuspisteiden lataamisen suoraan from_pretrained()-metodilla Diffusers-kirjastossa ilman erillistä moottoria. Generointinopeus kasvaa jopa 1,8-kertaiseksi ja huippu VRAM-kulutus laskee jopa 50 prosenttia.

Hugging Face Baidu