LLM 에이전트로 은행 분석 파이프라인 구축하기: 31회 실행 중 7회가 차단된 이유

저자는 오픈 웨이츠(open-weights) LLM(대규모 언어 모델)을 활용해 공개 데이터를 분석하는 은행 애널리틱스 파이프라인을 구축했다. 이 시스템은 ortant.net에서 운영되며, 승인된 연구 24건, 은행 도시에(dossier) 10건, 그리고 맞춤형 리서치 빌더를 제공한다. 각 실행(run)은 7개의 공개 데이터 스트림을 여섯 가지 AI 역할을 통해 처리한다. 다섯 명의 스트림 리뷰어, 한 명의 리서치 에이전트, 세 명의 어드바이저, 한 명의 의장(chairperson), 한 명의 주장 검증자(claim verifier), 그리고 한 명의 리포터로 구성된다. 실행당 중간값 비용은 0.132달러이며, 소요 시간은 12.8분이다. 총 31건의 실행 시도 중 7건이 게시 게이트(publication gate)에 의해 차단되었다. 이 중 4건은 합성(synthesis) 실패, 2건은 금지된 어휘(lexicon) 포함, 1건은 개인정보 탐지 오탐(false positive)으로 인한 차단이었다. 이 시스템은 데이터 패스포트(data passport)부터 게시 게이트에 이르는 네 개의 장벽(barrier)을 포함하고 있다. 저자는 또한 예측 레이어(predictive layer)가 단순 기준선(naive baseline)보다 성능이 떨어져 제거했으며, 모델의 자문(advice)은 커버리지를 개선하지만 정확도는 개선하지 않는다고 밝혔다. 이 글은 비용과 방법론을 투명하게 공개함으로써 투명성을 강조하고 있다.