बॉस के 73 समीक्षा टिप्पणियों को डेटासेट में बदलना: एक समीक्षक का डिजिटल ट्विन बनाना

एक बड़े संगठन में एक कर्मचारी एआई परियोजनाओं के लिए तकनीकी व्यवहार्यता रिपोर्ट लिखता है, एक ऐसा कार्य जिसे उसने एक एलएलएम एजेंट के साथ स्वचालित कर दिया था जो परियोजना दस्तावेज़ एकत्र करता है, पाठ निकालता है, एक संरचित JSON भरता है, और एक टेम्पलेट से DOCX उत्पन्न करता है। नौ रिपोर्ट जमा करने के बाद, उसके प्रबंधक ने उन्हें 73 टिप्पणियों के साथ लौटा दिया, कई दोहराव वाली और लापता स्रोतों, असमर्थित दावों और विरोधाभासों से संबंधित थीं। उसने DOCX फ़ाइलों से टिप्पणियाँ निकालने के लिए Python का उपयोग किया, फिर एक एलएलएम को 73 टिप्पणियों को 6 समूहों में 16 पैटर्न में क्लस्टर करने दिया, जिसमें संक्षिप्त निर्देशों का पालन, साक्ष्य समर्थन, क्षमता की सीमाएँ, वास्तुकला विकल्प, प्रश्नों की गहराई, और चरण-गेटिंग शामिल थे। उसने पहचाना कि लगभग सभी टिप्पणियाँ ज्ञानमीमांसीय थीं - दावों की स्पष्ट स्थिति की मांग करती थीं, क्योंकि एलएलएम समान रूप से आत्मविश्वासपूर्ण पाठ उत्पन्न करता है। उसने पाइपलाइन में तीन बदलाव किए: प्रत्येक दावे को [B] (ब्रिफ से), [E] (विशेषज्ञ अनुमान), या [D] (धारणा) के रूप में चिह्नित करना; एक अलग पाइपलाइन चरण के रूप में एक चेकलिस्ट जोड़ना; और एजेंट की स्थायी स्मृति में चेकलिस्ट को संग्रहीत करना। अगले चार दस्तावेज़ बिना दोहराव वाली टिप्पणियों के पारित हुए, और केवल नए महत्वपूर्ण मुद्दे बचे रहे। लेखक स्वीकार करता है कि नमूना आकार छोटा है और प्रभाव आंशिक रूप से स्रोत चिह्नांकन से ही आता है, जिसका उपयोग समीक्षक को दरकिनार करने के लिए नहीं, बल्कि समीक्षक के अंतर्निहित गुणवत्ता मानकों को औपचारिक रूप देने के लिए किया जाता है।