क्या एआई मॉडल जरूरत से ज्यादा मेहनत कर रहे हैं? बिना वजन वाले न्यूरल नेटवर्क पेश करते हैं लुकअप-आधारित विकल्प

ऑस्टिन में टेक्सास विश्वविद्यालय की प्रोफेसर लिज़ी के. जॉन का तर्क है कि वर्तमान एआई मॉडल, जो गुणन संक्रियाओं पर बहुत अधिक निर्भर करते हैं, आवश्यकता से अधिक कार्य कर रहे हो सकते हैं। पाँच वर्षों से, उन्होंने भारहीन तंत्रिका नेटवर्क पर काम किया है जो इनपुट को भार से गुणा करने के बजाय परस्पर जुड़ी लुकअप तालिकाओं का उपयोग करते हैं, जिससे गणना संग्रहीत बाइनरी उत्तरों से परामर्श करने तक सीमित हो जाती है। मानव गतिविधि पहचान, ईसीजी (इलेक्ट्रोकार्डियोग्राम) निगरानी और कीवर्ड स्पॉटिंग जैसे कार्यों पर, उनकी टीम के नेटवर्क 1,000 गुना छोटे आकार और ऊर्जा उपयोग को प्राप्त करते हैं, जबकि सटीकता बनाए रखते हैं। उदाहरण के लिए, उनका कीवर्ड स्पॉटिंग मॉडल प्रति इन्फ्रेंस केवल 42 से 79 नैनोजूल का उपयोग करता है, जबकि वर्तमान सर्वश्रेष्ठ उद्योग मॉडल 5,000 से अधिक का उपयोग करता है। जॉन ने पहले ही ट्रांसफॉर्मर नेटवर्क के मल्टीलेयर परसेप्ट्रॉन भाग को बदल दिया है, जो एक चैटबॉट के आर्किटेक्चर का लगभग आधा है, और अटेंशन मैकेनिज्म को भी बदलने का लक्ष्य रखती हैं। उनका मानना है कि भारहीन नेटवर्क चिकित्सा सेंसर के लिए लचीले प्लास्टिक सब्सट्रेट जैसे छोटे, कम-शक्ति वाले उपकरणों पर एआई को सक्षम कर सकते हैं। प्रशिक्षण अभी भी जीपीयू (ग्राफिक्स प्रोसेसिंग यूनिट) पर होता है, लेकिन जॉन को उम्मीद है कि अंततः एफपीजीए (फील्ड-प्रोग्रामेबल गेट ऐरे) आधारित हार्डवेयर का उपयोग किया जाएगा, क्योंकि एफपीजीए की लुकअप टेबल इसके लिए स्वाभाविक रूप से उपयुक्त हैं।