Nunchaku Lite: 4-bittinen päättely diffuusiomalleille Diffusers-kirjastossa

Nunchaku on SVDQuant (W4A4) -kvantisointimenetelmä diffuusiotransformereille. Uusi Nunchaku Lite -integraatio mahdollistaa kvantisoitujen tarkistuspisteiden lataamisen suoraan from_pretrained()-metodilla Diffusers-kirjastossa ilman erillistä moottoria. Generointinopeus kasvaa jopa 1,8-kertaiseksi ja huippu VRAM-kulutus laskee jopa 50 prosenttia.

Hugging Face Baidu

Alibaba avaa lähdekoodiksi AI-pino SAIL:in: yli 260 sovelluskehystä suoraan käytettävissä

Alibaban sirukehitysosasto Ping Tou Ge on ilmoittanut avaavansa lähdekoodiksi oman tekoälyohjelmistoalustansa T-Head SAIL:in. Tätä pinoa, jota käytetään 560 000 sirussa Zhenwu-sarjassa, kattaa kerrokset ajureista kehitystyökaluihin ja on yhteensopiva yli 260 suositun sovelluskehyksen kanssa, kuten PyTorch ja TensorFlow. Ratkaisun tavoitteena on alentaa kehittäjien aloituskynnystä ja nopeuttaa siirtymistä CUDA:sta.

Alibaba/Qwen