Construí um Pipeline de Análise Bancária com Agentes LLM: Onde Falhou em 7 de 31 Execuções

O autor construiu um pipeline de análise bancária usando LLMs de pesos abertos para analisar dados públicos. O sistema roda em ortant.net, oferecendo 24 estudos aceitos, 10 dossiês de bancos e um construtor de pesquisas personalizado. Cada execução processa sete fluxos de dados públicos por meio de seis papéis de IA: cinco revisores de fluxo, um agente de pesquisa, três conselheiros, um presidente, um verificador de reivindicações e um repórter. O custo mediano por execução é de US$ 0,132 e leva 12,8 minutos. Das 31 tentativas de execução, 7 foram bloqueadas por um portão de publicação: quatro falharam na síntese, duas continham léxico proibido e uma teve um falso positivo na detecção de dados pessoais. O sistema inclui quatro barreiras, desde o passaporte de dados até o portão de publicação. O autor também observa que uma camada preditiva foi pior que uma linha de base ingênua e foi removida, e que o conselho do modelo melhora a cobertura, mas não a precisão. O artigo enfatiza a transparência, com custos e métodos exibidos abertamente.