RAG: Benchmarks Importam Mais do que Código. A História de um Robô em que Melhorias 'Adequadas' Pioraram o Resultado

Um desenvolvedor decidiu criar um bot RAG para suporte direcionado a usuários de chats de criptomoedas: o bot deveria encontrar consultas semelhantes e mostrar respostas pré-existentes de administradores. Usando um corpus de 3,9 milhões de mensagens e um conjunto de avaliação de 51 perguntas, ele mediu um hit@3 de linha de base para busca vetorial pura em 74%. Tentando melhorar o sistema, ele adicionou busca híbrida com BM25 e um reordenador de codificador cruzado. Ambas as mudanças reduziram a métrica: a híbrida deu 55%, o reordenador 64%, e a híbrida com reordenador 57%. A análise mostrou que o BM25 foi ineficaz devido à ausência de tokens exatos no corpus de perguntas de exemplo, enquanto o reordenador estragou uma classificação já boa. A única mudança benéfica foi ajustar o limite de corte para se adequar ao papel do bot (como um fallback, não um respondedor final): isso melhorou a saída útil sem exigir código adicional. A principal lição é que, em RAG, o que importa não são os padrões da indústria, mas medições honestas e limpeza de dados.