मैंने LLM एजेंट्स के साथ बैंक एनालिटिक्स पाइपलाइन बनाई: 31 रनों में से 7 जगह रुकावट

लेखक ने सार्वजनिक डेटा का विश्लेषण करने के लिए ओपन-वेट्स एलएलएम का उपयोग करके एक बैंक एनालिटिक्स पाइपलाइन बनाई। यह प्रणाली ortant.net पर चलती है, जिसमें 24 स्वीकृत अध्ययन, 10 बैंक डोजियर और एक कस्टम रिसर्च बिल्डर शामिल हैं। प्रत्येक रन सात सार्वजनिक डेटा स्ट्रीम को छह एआई भूमिकाओं के माध्यम से संसाधित करता है: पांच स्ट्रीम समीक्षक, एक शोध एजेंट, तीन सलाहकार, एक अध्यक्ष, एक दावा सत्यापनकर्ता और एक रिपोर्टर। प्रति रन की औसत लागत $0.132 है और इसमें 12.8 मिनट लगते हैं। 31 प्रयास किए गए रनों में से, 7 प्रकाशन गेट द्वारा अवरुद्ध किए गए: चार में संश्लेषण विफल रहा, दो में निषिद्ध शब्दावली थी, और एक में व्यक्तिगत डेटा का पता लगाने पर गलत सकारात्मक परिणाम आया। प्रणाली में डेटा पासपोर्ट से लेकर प्रकाशन गेट तक चार बाधाएँ शामिल हैं। लेखक यह भी नोट करता है कि एक भविष्यवाणी परत नाइव बेसलाइन से भी बदतर थी और इसे हटा दिया गया, और मॉडल सलाह कवरेज में सुधार करती है लेकिन सटीकता में नहीं। लेख पारदर्शिता पर जोर देता है, जिसमें लागत और विधियाँ खुले तौर पर प्रदर्शित हैं।