Construindo uma Base de Conhecimento para Agente de IA e Testando-a nos Meus Próprios Exames Médicos
Um desenvolvedor backend na Iskra testou a base de conhecimento do agente de IA da sua empresa ao carregar os seus próprios resultados de exames médicos, porque conseguia identificar imediatamente erros nas respostas sobre os seus próprios dados laboratoriais. O sistema usa uma abordagem semelhante a um sistema de arquivos, com espelhos de documentos, grep e links de grafo, em vez do RAG clássico, o que funciona bem, mas tem armadilhas, como o agente se esquecer de acessar a base de conhecimento.
O autor, um desenvolvedor backend na Iskra, construiu uma base de conhecimento para um agente de IA e a testou com seus próprios resultados de exames médicos, que ele sabia de cor, tornando os erros óbvios. O sistema funciona como um sistema de arquivos preparado, em vez de um índice de busca: cada arquivo recebe um .md espelhado com um cabeçalho YAML, e um agente navega por meio de ls, grep, read e seguimento de links. Essa abordagem supera o RAG clássico para respostas multi-documento e citação de fontes, pois o agente lê documentos inteiros em vez de pedaços. No entanto, o agente às vezes se esquece de acessar a base de conhecimento, como visto quando alegou não ver os arquivos anexados, e em uma nova tentativa leu todos os sete e forneceu um resumo correto. Problemas adicionais incluem renomeação peculiar de arquivos (alguns títulos em latim), imprecisões de paráfrase nas citações e maior custo de token—cerca de 10 a 15 chamadas de ferramenta por consulta complexa. O autor também observa que o sistema não é infalível: o modelo pode citar fontes, mas ainda assim alucinar, então uma lista de fontes no lado do servidor é crucial.
Fonte: Habr — хаб NLP —
original