Construyendo una base de conocimiento para agentes de IA y probándola con mis propios análisis médicos
Un desarrollador backend de Iskra probó la base de conocimiento de agentes de IA de su empresa subiendo sus propios resultados de análisis médicos, ya que podía detectar inmediatamente errores en las respuestas sobre sus propios datos de laboratorio. El sistema utiliza un enfoque similar a un sistema de archivos con espejos de documentos, grep y enlaces de gráficos en lugar del RAG clásico, que funciona bien pero tiene problemas como que el agente olvide acceder a la base de conocimiento.
El autor, desarrollador backend en Iskra, construyó una base de conocimientos para un agente de IA y la probó con los resultados de su propio chequeo médico, que conocía de memoria, lo que hacía evidentes los errores. El sistema funciona como un sistema de archivos preparado en lugar de un índice de búsqueda: cada archivo tiene un .md espejo con una cabecera YAML, y un agente navega mediante ls, grep, read y el seguimiento de enlaces. Este enfoque supera al RAG clásico para respuestas multi-documento y citación de fuentes, ya que el agente lee documentos completos en lugar de fragmentos. Sin embargo, el agente a veces olvida acceder a la base de conocimientos, como se vio cuando afirmó no ver los archivos adjuntos y luego, en un reintento, leyó los siete y proporcionó un resumen correcto. Otros problemas incluyen el extraño cambio de nombre de archivos (algunos títulos en latín), imprecisiones de paráfrasis en las citas y un mayor costo de tokens, de aproximadamente 10 a 15 llamadas a herramientas por consulta compleja. El autor también señala que el sistema no es infalible: el modelo puede citar fuentes pero aún así alucinar, por lo que es crucial una lista de fuentes en el servidor.
Fuente: Habr — хаб NLP —
original