Ik bouwde een bankanalytics-pijplijn met LLM-agents: waar het 7 van de 31 runs blokkeerde
OpenAI
Anthropic
De auteur beschrijft een bankanalytics-pijplijn die open LLM's gebruikt om onderzoek naar banken te genereren op basis van openbare datastromen. Het beheert een publieke site (ortant.net) met 24 gepubliceerde studies en 10 bankdossiers. Van de 31 runs werden er 7 geblokkeerd door een publicatiepoort, elk met een redencode. Het artikel gaat in op de belemmeringen, kosten en geleerde lessen.
De auteur bouwde een bankanalyticspijplijn met behulp van open-gewichten-LLM's om openbare gegevens te analyseren. Het systeem draait op ortant.net en biedt 24 geaccepteerde studies, 10 bankdossiers en een aangepaste onderzoeksbouwer. Elke run verwerkt zeven openbare datastromen via zes AI-rollen: vijf stroombeoordelaars, een onderzoeksagent, drie adviseurs, een voorzitter, een claimverificateur en een verslaggever. De mediane kosten per run bedragen $0,132 en het duurt 12,8 minuten. Van de 31 uitgevoerde runs werden er 7 geblokkeerd door een publicatiepoort: vier mislukte synthese, twee bevatten verboden lexicon en één had een fout-positief bij detectie van persoonsgegevens. Het systeem bevat vier barrières, van datapaspoort tot publicatiepoort. De auteur merkt ook op dat een voorspellende laag slechter was dan een naïeve basislijn en werd verwijderd, en dat modeladvies de dekking verbetert maar niet de nauwkeurigheid. Het artikel benadrukt transparantie, met kosten en methoden die openlijk worden getoond.
Bron: Habr — хаб ИИ —
origineel