llama.cpp b10075 -päivitys: Neljä parannusta paikalliseen tekoälymoottoriin
Meta
llama.cpp b10075 -päivitys tuo neljä keskeistä parannusta paikalliseen tekoälypäätelmämoottoriin. Nämä parannukset keskittyvät suorituskykyyn, muistitehokkuuteen ja uusiin ominaisuuksiin suurten kielimallien paikallista käyttöä varten.
Tuore llama.cpp b10075 -päivitys tuo neljä suurta parannusta paikalliseen tekoälymoottoriin. Ensinnäkin se lisää tuen Llama 4 -malliperheelle, jolloin käyttäjät voivat ajaa näitä malleja paikallisesti. Toiseksi se optimoi muistinkäyttöä paremmalla KV-välimuistin käsittelyllä, mikä vähentää RAM-kulutusta päättelyn aikana. Kolmanneksi se esittelee uuden spekulatiivisen dekoodausominaisuuden, joka nopeuttaa tekstin tuottamista käyttämällä luonnosmallia. Lopuksi se parantaa yhteensopivuutta eri laitteistotaustajärjestelmien kanssa, mukaan lukien AMD ROCm ja Intel oneAPI, laajentaen GPU-tukea.
Lähde: Meta AI (GNews) —
Alkuperäinen