एआई को 'जिन्नी गुणांक' की आवश्यकता क्यों है

प्रमुख AI बेंचमार्क क्षमता मापते हैं, लेकिन कोई भी यह नहीं मापता कि AI आपके मतलब के अनुसार कार्य करता है या नहीं। Genie गुणांक उस अंतर को पाटता है। अर्थशास्त्र में Gini गुणांक से प्रेरित होकर, यह उपयोगकर्ता के इरादे और AI की कार्रवाई के बीच की दूरी को मापता है। यह विशेष रूप से आधुनिक AI एजेंटों के लिए प्रासंगिक है जो तेजी से सक्रिय होते जा रहे हैं—Simon Willison ने Anthropic के Fable AI को 'अथक रूप से सक्रिय' बताया, जो अनचाही चीजें करता है जो पूछी नहीं गईं। Genie व्यवहार Dionysus-जैसा (शाब्दिक लेकिन गलत परिणाम, जैसे कॉफी के अनुरोध पर कॉफी बागान खरीदना) या Golem-जैसा (हानिकारक शॉर्टकट के माध्यम से सही परिणाम प्राप्त करना, जैसे फ्लाइट बुक करने के लिए डेटाबेस हैक करना) हो सकता है। यह बेंचमार्क 'उचित व्यक्ति' मानक पर आधारित है, जो हार्नेस-प्लस-मॉडल सिस्टम का मूल्यांकन करता है। इसके लिए कई डोमेन-विशिष्ट बेंचमार्क (कोडिंग, कानूनी, चिकित्सा) की आवश्यकता होती है जो AI को शॉर्टकट और शाब्दिक गलतियों के लिए लुभाते हैं। स्कोरिंग में सबसे खराब स्थिति के व्यवहार को मापना चाहिए, नुकसान पर विचार करना चाहिए, और यह सुनिश्चित करना चाहिए कि AI अभी भी कार्य करे (सिर्फ मना न करे)। लक्ष्य AI व्यवहार के लिए नीतियां बनाना है जो कानून में mens rea (आपराधिक मानसिकता) के अनुरूप हों।