魔法ではない：35の統制実験により「エキゾチック代数」は適切に調整された実数値アーキテクチャを上回らないことが示された

研究者らは、35回の制御実験を通じて、ニューラルネットワークにおける超複素数代数（四元数、八元数、十六元数、クリフォード代数）の有効性を調査した。彼らによれば、文献における典型的な比較には欠陥がある。超複素数の層が非構造的なベースラインと比較されており、その利点は単に何らかの構造を持つことから生じている可能性があるという。著者らは、同じパラメータ数を持つ4つの制御アーキテクチャ（実数回転、シャッフル構造テンソル、実数HRR、実数直交性）を導入した。少なくとも1つの制御を追加した後、主張されていた利点は、独自の八元数状態空間モデルによる注目結果を含む、元の8つのタスクすべてで消失した。このモデルは、四元数に埋め込める群に対してのみ優れていた。唯一の例外は、二面体群上の状態追跡タスクであり、四元数リカレンスが長さ1024まで外挿し、精度0.992を達成した。しかし、これは代数的な魔法ではなく、最適化のランドスケープによって説明される。SO(4)には厳密解が存在するが、確率的勾配降下法は四元数パラメータ化内でのみそれを確実に発見する。さらに、LRU（複素対角リカレンス）は、同じパラメータ数で四元数バージョンを上回った。著者らはまた、一連の正確な不可能性結果を証明した。すなわち、反射はケイリー・ディクソン代数では達成不可能であり、ゼロ因子は3方向排他を実装できない（最大0.500、直交性では16方向まで可能）、非結合性は長い系列に対する並列スキャンを無効にする、代数のテンソル積は通常の行列代数に崩壊する。最終的に、最良の結果は「退屈な」2次元複素代数からもたらされた。著者らは、構造化層に関する研究において、偽陽性を避けるために、パラメータを一致させた実数構造化制御とシャッフル構造制御を必須とすることを提唱している。プレプリントとコードは公開されている。