Création d'une base de connaissances pour agent IA et test sur mes propres analyses médicales
Un développeur backend chez Iskra a testé la base de connaissances de l'agent IA de son entreprise en y téléchargeant ses propres résultats d'analyses médicales, car il pouvait immédiatement repérer les erreurs dans les réponses concernant ses données de laboratoire. Le système utilise une approche de type système de fichiers avec des miroirs de documents, grep et des liens de graphe plutôt qu'un RAG classique, ce qui fonctionne bien mais présente des pièges comme le fait que l'agent oublie d'accéder à la base de connaissances.
L'auteur, développeur backend chez Iskra, a construit une base de connaissances pour un agent d'IA et l'a testée avec les résultats de son propre examen médical, qu'il connaissait par cœur, ce qui rendait les erreurs évidentes. Le système fonctionne comme un système de fichiers préparé plutôt que comme un index de recherche : chaque fichier obtient un .md miroir avec un en-tête YAML, et un agent navigue via ls, grep, read et le suivi de liens. Cette approche surpasse le RAG classique pour les réponses multi-documents et la citation de sources, car l'agent lit des documents entiers au lieu de morceaux. Cependant, l'agent oublie parfois d'accéder à la base de connaissances, comme on l'a vu lorsqu'il a prétendu ne pas voir les fichiers joints, puis lors d'une nouvelle tentative, il a lu les sept et a fourni un résumé correct. Des problèmes supplémentaires incluent un renommage de fichiers fantaisiste (certains titres en latin), des inexactitudes de paraphrase dans les citations et un coût en jetons plus élevé, soit environ 10 à 15 appels d'outils par requête complexe. L'auteur note également que le système n'est pas infaillible : le modèle peut citer des sources mais toujours halluciner, donc une liste de sources côté serveur est cruciale.
Source: Habr — хаб NLP —
original