Como a Memória de Agente de IA Impediu Relatório Falso e Forçou Abandono de Sua Própria Funcionalidade
Um agente de IA baseado em sua memória impediu a publicação de um relatório falso ao identificar que a ideia já havia falhado em dados reais. Em outro caso, a memória mostrou que adicionar importância global dos nós ao ranqueamento degradou a qualidade, e o agente removeu essa funcionalidade. Desenvolvedores compartilham experiência na criação do sistema vecmory — "memória por significado" — que ajuda o agente a evitar repetir erros passados.
Em um artigo no Habr, os autores descrevem seu projeto vecmory — um sistema de memória semântica para agentes de IA, baseado no modelo multilíngue MiniLM com 384 dimensões. O sistema realiza três operações: recall (lembrar algo relevante), remember (armazenar) e link (vincular dois fatos). No recall, não é usado um top-k plano, mas sim uma "guirlanda": são encontrados os nós-semente mais próximos por cosseno e, em seguida, expandido o grafo causal-temporal de conexões. Dois casos ilustrativos são apresentados. No primeiro, o agente sugeriu criar um roteador para selecionar o método de ranqueamento (cosseno puro ou PPR baseado em grafo), obteve uma correlação sintética de 0,98, mas, antes de gerar o relatório, realizou um recall e encontrou na memória um registro de que essa ideia já havia sido testada com dados reais e havia falhado. A razão é que, em embeddings reais, o cosseno de pares não relacionados tem média 0,53 e o de vizinhos, 0,80; as nuvens se sobrepõem, portanto o limiar dos dados sintéticos não funciona, sendo necessário confiar no rank (top-k). No segundo caso, o agente mediu o MRR (Mean Reciprocal Rank) para ranqueamento por cosseno puro (0,81) e com adição de importância global do nó (0,41), e descobriu que a importância piora a qualidade. No grafo sintético, o resultado foi o oposto. Conclusão: popularidade global é um prior de popularidade, não de relevância; para recall pontual, o melhor rank é o cosseno puro. Os autores observam que o sinal realmente valioso não foi a popularidade, mas a frequência de correções repetidas por humanos (por exemplo, revert — 39 vezes, xsrf — por 60). Esse conhecimento "sofrido" agora é misturado como primeiro bloco em cada recall. Para finalizar, os autores apresentam a metodologia de medição: usaram um repositório ativo de tickets (4299 nós: 1993 issues + 2306 PRs) e os padrões padrão do GitHub de Closes #N para pares "sintoma → correção". Em 300 consultas, o cosseno puro encontrou a correção necessária em 38% dos casos, enquanto a navegação pelo grafo causal alcançou 87%, uma diferença de 49 pontos percentuais. O script de medição é reproduzível e está disponível no repositório.
Fonte: Habr — хаб ML —
original