Construí un pipeline de análisis bancario con agentes LLM: dónde bloqueó 7 de 31 ejecuciones

El autor construyó un pipeline de analítica bancaria utilizando LLMs de pesos abiertos para analizar datos públicos. El sistema se ejecuta en ortant.net, ofreciendo 24 estudios aceptados, 10 dosieres bancarios y un constructor de investigaciones personalizado. Cada ejecución procesa siete flujos de datos públicos a través de seis roles de IA: cinco revisores de flujos, un agente de investigación, tres asesores, un presidente, un verificador de afirmaciones y un reportero. El costo medio por ejecución es de 0,132 dólares y tarda 12,8 minutos. De 31 ejecuciones intentadas, 7 fueron bloqueadas por una puerta de publicación: cuatro fallaron en la síntesis, dos contenían léxico prohibido y una tuvo un falso positivo en la detección de datos personales. El sistema incluye cuatro barreras, desde el pasaporte de datos hasta la puerta de publicación. El autor también señala que una capa predictiva fue peor que una línea base ingenua y fue eliminada, y que el asesoramiento del modelo mejora la cobertura pero no la precisión. El artículo enfatiza la transparencia, con costos y métodos mostrados abiertamente.