LLMエージェントで銀行分析パイプラインを構築：31回の実行中7回がブロックされた理由

筆者は、オープンウェイトのLLMを使用して公開データを分析する銀行分析パイプラインを構築した。このシステムはortant.net上で動作し、24件の承認済み研究、10件の銀行ドシエ、カスタム研究ビルダーを提供している。各実行は7つの公開データストリームを6つのAIロール（5人のストリームレビューア、1人の研究エージェント、3人のアドバイザー、1人の議長、1人の主張検証者、1人のレポーター）で処理する。実行あたりのコスト中央値は0.132ドルで、所要時間は12.8分。試行した31回のうち7回は公開ゲートによってブロックされた。そのうち4回は統合失敗、2回は禁止用語が含まれていたため、1回は個人データ検出で偽陽性だった。システムには、データパスポートから公開ゲートまでの4つのバリアが含まれている。筆者はまた、予測レイヤーはナイーブベースラインよりも悪く、削除されたこと、モデルのアドバイスはカバレッジを改善するが精度は改善しないことを指摘している。この記事は透明性を重視しており、コストと方法は公開されている。