Tekoälyagentin tietopohjan rakentaminen ja testaaminen omilla lääketieteellisillä testeillä
Iskran backend-kehittäjä testasi yrityksensä tekoälyagentin tietopohjaa lataamalla sinne omat lääketieteelliset testituloksensa, koska pystyi heti havaitsemaan virheet vastauksissa omiin laboratoriotietoihinsa liittyen. Järjestelmä käyttää tiedostojärjestelmämäistä lähestymistapaa dokumenttij peilien, grep-komennon ja graafisten linkkien avulla klassisen RAG-menetelmän sijaan, mikä toimii hyvin, mutta siinä on sudenkuoppia, kuten agentti unohtaa käyttää tietopohjaa.
Kirjoittaja, joka on backend-kehittäjä Iskralla, rakensi tekoälyagentille tietopohjan ja testasi sitä omilla lääkärintarkastustuloksillaan, jotka hän tunsi ulkoa, mikä teki virheistä ilmeisiä. Järjestelmä toimii valmisteltuna tiedostojärjestelmänä eikä hakemistona: jokainen tiedosto saa peilatun .md-tiedoston, jossa on YAML-otsake, ja agentti navigoi ls-, grep-, read- ja linkkien seuraamisen avulla. Tämä lähestymistapa päihittää klassisen RAG-menetelmän moniasiakirjavastauksissa ja lähdeviittauksissa, koska agentti lukee kokonaisia asiakirjoja eikä katkelmia. Agentti kuitenkin joskus unohtaa käyttää tietopohjaa, kuten nähtiin, kun se väitti, ettei nähnyt liitetiedostoja, mutta uudelleenyrityksellä luki kaikki seitsemän ja antoi oikean yhteenvedon. Muita ongelmia ovat omituinen tiedostojen uudelleennimeäminen (osa otsikoista latinaksi), epätarkat parafraasit viittauksissa ja suuremmat token-kustannukset – noin 10–15 työkalukutsua monimutkaista kyselyä kohden. Kirjoittaja huomauttaa myös, että järjestelmä ei ole täysin erehtymätön: malli voi viitata lähteisiin mutta silti hallusinoida, joten palvelinpuolen lähdeluettelo on ratkaisevan tärkeä.
Lähde: Habr — хаб NLP —
Alkuperäinen