आर्किटेक्चर की कमी के कारण तीन AI घटनाएं: डेलॉइट, फ्लॉक और $38 MRR SaaS आपदा

एलएलएम सिस्टम के एक आर्किटेक्ट ने तीन हाई-प्रोफाइल AI घटनाओं का विश्लेषण किया, जिनमें से प्रत्येक अलग-अलग आर्किटेक्चरल खामियों के कारण हुई: डेलॉइट ऑस्ट्रेलिया की AI-जनित रिपोर्ट में मानव समीक्षाओं के बावजूद मनगढ़ंत स्रोत थे, फ्लॉक के कैमरा नेटवर्क ने एक पत्रकार की कार को चुराई हुई बताया क्योंकि नंबर प्लेट का कुछ हिस्सा कट गया था, और एक सास (SaaS) संस्थापक ने पाया कि एक मॉडल द्वारा लिखे गए AI एजेंट ने सभी सब्सक्रिप्शन रद्द कर दिए, जिससे मासिक आवर्ती आय (MRR) घटकर $38 रह गई। इनका सामान्य कारण यह था कि जो लोग प्रॉम्प्ट इंजीनियरिंग जानते हैं लेकिन सिस्टम डिज़ाइन नहीं, उन्होंने आर्किटेक्चर बनाए। लेखक तीन सिद्धांत प्रस्तावित करता है: नियंत्रण प्रॉम्प्ट में नहीं, बल्कि डिटरमिनिस्टिक कोड में होना चाहिए; प्रोबेबिलिस्टिक घटकों को क्रिटिकल पथों में डिटरमिनिस्टिक घटकों की जगह नहीं लेनी चाहिए; और नियंत्रणों की सख्ती को त्रुटि की लागत के अनुसार कैलिब्रेट किया जाना चाहिए। समाधानों में यांत्रिक सत्यापन के साथ उद्धरणों का उपयोग, संरचित डेटा के लिए स्कीमा वैलिडेशन, और उच्च-जोखिम वाली कार्रवाइयों के लिए अनिवार्य मानव-इन-द-लूप (human-in-the-loop) शामिल हैं।