Aufbau einer Wissensbasis für KI-Agenten und Test mit meinen eigenen medizinischen Untersuchungen
Ein Backend-Entwickler bei Iskra testete die Wissensbasis für KI-Agenten seines Unternehmens, indem er seine eigenen medizinischen Testergebnisse hochlud, weil er Fehler in den Antworten zu seinen eigenen Labordaten sofort erkennen konnte. Das System verwendet einen dateisystemähnlichen Ansatz mit Dokument-Mirrors, grep und Grafiklinks anstelle von klassischem RAG, was gut funktioniert, aber Fallstricke hat, wie zum Beispiel, dass der Agent vergisst, auf die Wissensbasis zuzugreifen.
Der Autor, Backend-Entwickler bei Iskra, hat eine Wissensbasis für einen KI-Agenten aufgebaut und sie mit den Ergebnissen seiner eigenen medizinischen Untersuchung getestet, die er auswendig kannte, wodurch Fehler offensichtlich wurden. Das System funktioniert eher wie ein vorbereitetes Dateisystem als wie ein Suchindex: Jede Datei erhält eine gespiegelte .md-Datei mit einem YAML-Header, und ein Agent navigiert über ls, grep, read und das Folgen von Links. Dieser Ansatz übertrifft klassisches RAG bei Antworten über mehrere Dokumente und Quellenangaben, da der Agent ganze Dokumente liest statt Abschnitte. Allerdings vergisst der Agent manchmal, auf die Wissensbasis zuzugreifen, wie man sieht, wenn er behauptet, die angehängten Dateien nicht zu sehen, und dann bei einem erneuten Versuch alle sieben liest und eine korrekte Zusammenfassung liefert. Weitere Probleme umfassen eigenartige Dateiumbenennungen (einige Titel in lateinischer Schrift), Ungenauigkeiten bei Paraphrasen in Zitaten und höhere Token-Kosten – etwa 10 bis 15 Tool-Aufrufe pro komplexer Abfrage. Der Autor merkt auch an, dass das System nicht narrensicher ist: Das Modell kann Quellen zitieren, aber trotzdem halluzinieren, daher ist eine serverseitige Quellenliste entscheidend.
Quelle: Habr — хаб NLP —
Original