Een AI-agentkennisbank bouwen en testen op mijn eigen medische testen
Een backendontwikkelaar bij Iskra testte de AI-agentkennisbank van zijn bedrijf door zijn eigen medische testresultaten te uploaden, omdat hij fouten in antwoorden over zijn eigen laboratoriumgegevens onmiddellijk kon opmerken. Het systeem gebruikt een bestandssysteemachtige benadering met documentspiegels, grep en graafkoppelingen in plaats van klassieke RAG, wat goed werkt maar valkuilen kent, zoals dat de agent vergeet om de kennisbank te raadplegen.
De auteur, een backendontwikkelaar bij Iskra, bouwde een kennisbank voor een AI-agent en testte deze met zijn eigen medische onderzoeksresultaten, die hij uit zijn hoofd kende, waardoor fouten duidelijk werden. Het systeem werkt als een voorbereid bestandssysteem in plaats van een zoekindex: elk bestand krijgt een gespiegeld .md-bestand met een YAML-header, en een agent navigeert via ls, grep, read en het volgen van links. Deze aanpak presteert beter dan klassieke RAG voor antwoorden over meerdere documenten en bronvermelding, omdat de agent hele documenten leest in plaats van stukjes. De agent vergeet echter soms om de kennisbank te raadplegen, zoals te zien was toen hij beweerde de bijgevoegde bestanden niet te zien, en bij een tweede poging alle zeven las en een correcte samenvatting gaf. Extra problemen zijn onder meer eigenzinnige bestandshernoeming (sommige titels in het Latijn), parafrase-onnauwkeurigheden in citaten en hogere tokennkosten—ongeveer 10–15 toolaanroepen per complexe zoekopdracht. De auteur merkt ook op dat het systeem niet feilloos is: het model kan bronnen citeren maar toch hallucineren, dus een server-side bronnenlijst is cruciaal.
Bron: Habr — хаб NLP —
origineel