TAKC: Tehtävätietoinen tiedonpakkaus AWS:n yritys-AI:lle – RAG:ia tehokkaampi lähestymistapa
Amazon Web Services
Anthropic
AWS esittelee tehtävätietoisen tiedonpakkauksen (TAKC), tekniikan, joka pakkaa kokonaiset tietokannat tehtäväkohtaisiksi esityksiksi yritys-AI:ta varten. TAKC voittaa RAG:n rajoitukset dokumenttien välisessä päättelyssä vähentämällä tokenien määrää 8–64-kertaisesti samalla säilyttäen tehtävän kannalta olennaisen tiedon. Ratkaisu sisältää monitasoiset pakkaustasot ja serverless-arkkitehtuurin AWS:ssä.
AWS esittelee TAKCin (task-aware knowledge compression, tehtävätietoinen tiedonpakkaus) vaihtoehtona RAGille (retrieval-augmented generation, hakupohjainen generointi) yritysten tekoälytehtäviin, jotka edellyttävät dokumenttien välistä päättelyä, kuten taloudellinen due diligence tai sääntelyn noudattaminen. TAKC käyttää suurta kielimallia (LLM) tuottamaan lyhyempiä, tehtäväkeskeisiä tiivistelmiä kokonaisista dokumenteista, useilla pakkaustasoilla (8x, 16x, 32x, 64x). Kyselyn monimutkaisuuden analysointityökalu ohjaa kysymykset sopivalle tasolle. AWS-toteutus sisältää kaksi erillistä palvelimetonta putkistoa: sisäänluku ja kysely. Sisäänlukuvaiheessa S3:ssa olevat dokumentit käynnistävät Lambda-funktioita, jotka pilkkovat ja pakkaavat dataa Amazon Bedrockin avulla, tallentaen tulokset ElastiCacheen ja S3:een. Kyselypolku käyttää API Gatewayta, Cognitoa ja Lambdaa hakemaan pakatun kontekstin ja tuottamaan vastauksia. TAKC on suunniteltu tietopohjille, jotka muuttuvat harvoin ja vaativat monimutkaisia analyyttisiä kyselyitä. Artikkelissa on kustannusvertailu, joka osoittaa TAKCin vähentävän syöttötunnisteiden käyttöä merkittävästi verrattuna koko kontekstiin tai RAGiin. AWS suosittelee käyttämään tuotannossa sekä TAKCia että RAGia: RAGia nopeisiin hakemuksiin, TAKCia analyyttisiin kyselyihin.
Lähde: AWS ML blog —
Alkuperäinen