Geen Magie: 35 gecontroleerde experimenten tonen aan dat "exotische algebra's" niet beter presteren dan goed afgestemde reële architecturen

Onderzoekers bestudeerden de effectiviteit van hypercomplexe algebra's (quaternionen, octonionen, sedenionen, Clifford-algebra's) in neurale netwerken door middel van 35 gecontroleerde experimenten. Volgens hen zijn typische vergelijkingen in de literatuur gebrekkig: hypercomplexe lagen worden vergeleken met ongestructureerde basislijnen, terwijl het voordeel simpelweg kan komen van het hebben van enige structuur. De auteurs introduceerden vier controle-architecturen met hetzelfde aantal parameters: Real-rotatie, Geschudde structuurtensor, Real HRR en Real-orthogonaliteit. Na het toevoegen van ten minste één controle verdween het beweerde voordeel in alle 8 originele taken, inclusief hun eigen hoofdresultaat met een octonion-toestandsruimtemodel — het presteerde alleen beter op groepen die in quaternionen inbedbaar waren. De enige uitzondering was een toestand-volgtaak op de binaire tetraëdrische groep, waarbij quaternion-recurrentie extrapoleerde naar lengte 1024 met een nauwkeurigheid van 0,992. Dit wordt echter verklaard door het optimalisatielandschap in plaats van algebraïsche magie: SO(4) bevat een exacte oplossing, maar stochastische gradiëntdaling vindt deze alleen betrouwbaar binnen de quaternion-parametrisatie. Bovendien versloeg LRU (complexe diagonale recurrentie) de quaternion-versie met hetzelfde aantal parameters. De auteurs bewezen ook een reeks exacte onmogelijkheidsresultaten: reflecties zijn onbereikbaar in Cayley-Dickson-algebra's, nuldelers kunnen geen 3-weg uitsluiting implementeren (maximaal 0,500, versus 16-weg voor orthogonaliteit), niet-associativiteit heft parallelle scan voor lange sequenties op, en tensorproducten van algebra's storten in tot gewone matrixalgebra's. Uiteindelijk kwam het beste resultaat van de 'saaie' tweedimensionale complexe algebra. De auteurs pleiten voor verplicht gebruik van param-gematchte reële gestructureerde controle en geschudde-structuurcontrole in onderzoek naar gestructureerde lagen om valse positieven te voorkomen. De preprint en code zijn openbaar beschikbaar.