无魔法：35项对照实验表明“超复数代数”并不优于适当调优的实值架构

研究人员通过35项对照实验，研究了超复数代数（四元数、八元数、十六元数、克利福德代数）在神经网络中的有效性。他们认为，文献中的典型比较存在缺陷：超复数层与非结构化基线进行比较，而优势可能仅仅来自任意结构化。作者引入了四种参数数量相同的对照架构：实旋转、混洗结构张量、实HRR和实正交性。在加入至少一个对照后，所有8个原始任务（包括他们自己使用八元数状态空间模型得出的标题结果）中的优势都消失了——该模型仅在可嵌入四元数的群组上表现更优。唯一的例外是二进制四面体群上的状态追踪任务，其中四元数循环神经网络外推至长度1024时准确率达到0.992。然而，这可以通过优化景观而非代数魔法来解释：SO(4)包含一个精确解，但随机梯度下降仅在四元数参数化中可靠地找到该解。此外，LRU（复数对角循环神经网络）以相同的参数数量击败了四元数版本。作者还证明了一系列精确的不可能性结果：反射在Cayley–Dickson代数中无法实现；零因子无法实现三路排他性（最大0.500，而正交性可实现16路）；非结合性取消了长序列的并行扫描；代数的张量积坍缩为普通矩阵代数。最终，最佳结果来自“平凡”的二维复数代数。作者主张在结构化层研究中强制使用参数匹配的实数结构化对照和混洗结构对照，以避免假阳性。预印本和代码已公开。