कोई जादू नहीं: 35 नियंत्रित प्रयोग दिखाते हैं कि "एक्सोटिक बीजगणित" उचित रूप से ट्यून किए गए रियल-वैल्यूड आर्किटेक्चर से बेहतर प्रदर्शन नहीं करते

शोधकर्ताओं ने 35 नियंत्रित प्रयोगों के माध्यम से तंत्रिका नेटवर्क में हाइपरकॉम्प्लेक्स बीजगणित (क्वाटरनियन, ऑक्टोनियन, सेडेनियन, क्लिफोर्ड बीजगणित) की प्रभावशीलता का अध्ययन किया। उनके अनुसार, साहित्य में विशिष्ट तुलनाएँ त्रुटिपूर्ण हैं: हाइपरकॉम्प्लेक्स परतों की तुलना असंरचित आधार रेखाओं से की जाती है, जबकि लाभ केवल किसी भी संरचना के होने से आ सकता है। लेखकों ने समान संख्या में पैरामीटर वाली चार नियंत्रण वास्तुकलाएँ प्रस्तुत कीं: रियल-रोटेशन, शफ़ल्ड स्ट्रक्चर टेंसर, रियल एचआरआर और रियल-ऑर्थोगोनैलिटी। कम से कम एक नियंत्रण जोड़ने के बाद, सभी 8 मूल कार्यों में दावा किया गया लाभ गायब हो गया, जिसमें ऑक्टोनियन स्टेट-स्पेस मॉडल के साथ उनका स्वयं का शीर्ष परिणाम भी शामिल है — यह केवल क्वाटरनियन में एम्बेड करने योग्य समूहों पर बेहतर प्रदर्शन करता था। एकमात्र अपवाद बाइनरी टेट्राहेड्रल समूह पर एक स्थिति ट्रैकिंग कार्य था, जहाँ क्वाटरनियन रिकरेंस ने सटीकता 0.992 के साथ लंबाई 1024 तक एक्सट्रपलेशन किया। हालांकि, यह बीजगणितीय जादू के बजाय ऑप्टिमाइज़ेशन परिदृश्य द्वारा समझाया गया है: SO(4) में एक सटीक समाधान मौजूद है, लेकिन स्टोकेस्टिक ग्रेडिएंट डिसेंट इसे केवल क्वाटरनियन पैरामीट्रिज़ेशन के भीतर ही विश्वसनीय रूप से ढूँढता है। इसके अलावा, LRU (जटिल विकर्ण रिकरेंस) ने समान संख्या में पैरामीटर के साथ क्वाटरनियन संस्करण को हराया। लेखकों ने असंभवता परिणामों की एक श्रृंखला भी सिद्ध की: केली-डिक्सन बीजगणित में प्रतिबिंब अप्राप्य हैं, शून्य भाजक 3-तरफ़ा बहिष्करण लागू नहीं कर सकते (अधिकतम 0.500, बनाम ऑर्थोगोनैलिटी के लिए 16-तरफ़ा), गैर-साहचर्यता लंबे अनुक्रमों के लिए समानांतर स्कैन रद्द कर देती है, और बीजगणित के टेंसर उत्पाद सामान्य मैट्रिक्स बीजगणित में समाहित हो जाते हैं। अंततः, सबसे अच्छा परिणाम 'उबाऊ' द्वि-आयामी जटिल बीजगणित से आया। लेखक झूठी सकारात्मकता से बचने के लिए संरचित परतों पर शोध में पैरामीटर-मिलान वाले वास्तविक संरचित नियंत्रण और शफ़ल्ड-स्ट्रक्चर नियंत्रण के अनिवार्य उपयोग की वकालत करते हैं। प्रीप्रिंट और कोड सार्वजनिक रूप से उपलब्ध हैं।