RAG:n tappaminen: Kuinka kuuden rivin sääntö korvaa Retrieval-Augmented Generation -menetelmän muistina
BAAI
Tekoälytutkija väittää, että RAG (Retrieval-Augmented Generation) on perustavanlaatuisesti virheellinen muistimekanismina, koska vektorien samankaltaisuus ei vastaa ajallista totuutta. He ehdottavat kuuden rivin sääntöä, joka priorisoi viimeisimmän unohtumattoman version tosiasiasta käsitellen aikaa ensiluokkaisena kokonaisuutena. Rust-järjestelmässä toteutettu sääntö osoittaa korkeampaa tarkkuutta kuin kaksivaiheinen neuroverkkojärjestelmä, jossa käytetään bge-m3:a ja gemma3:a vasta-argumenttitesteissä.
Kirjoittaja väittää 'tappaneensa' RAG:n muistimenetelmänä, ei hakumenetelmänä, tunnistamalla korvaavan lähestymistavan: RAG vastaa kysymykseen 'mikä on samankaltaista' mutta ei kysymykseen 'mikä on totta nyt'. Käyttämällä esimerkkiä henkilöstä, jolla on kolme työnimikettä (insinööri, ryhmänjohtaja, johtaja), hän osoittaa, että vektorin samankaltaisuus kohtelee kaikkia versioita samalla tavalla, mikä johtaa hallusinaatioihin. Ratkaisu on kuusirivinen sääntö, joka valitsee viimeisimmän ei-unohdetun version tosiasiasta (perustuen aikaleimaan ja fact_key-avaimelle). Tämä sääntö on osa Rust-järjestelmää, jossa on moduulit geometrialle (vektorin pistetulo), hnsw (likimääräinen lähin naapuri) ja journaalille (append-only-loki). Järjestelmä sisältää myös 'rehellisen pidättäytymisen': jos lähin tieto on kalibroidun kynnyksen (GEOLLM_THRESHOLD) ulkopuolella, se sanoo 'en tiedä'. Kokeissa MQUAKE-CF:llä (400 kontrafaktuaalista tapausta) kuusirivinen sääntö suoriutuu paremmin kuin putki, joka käyttää bge-m3-enkooderia ja gemma3-arbiteria. Kirjoittaja korostaa, että sääntö tuottaa neljä ominaisuutta (versiot, tuoreus, unohtaminen, historiallinen näkymä) ilmaiseksi ja viidentenä pidättäytymisen.
Lähde: Habr — хаб ИИ —
Alkuperäinen