Pas de Magie : 35 Expériences Contrôlées Montrent que les « Algèbres Exotiques » ne Surclassent pas les Architectures à Valeurs Réelles Correctement Ajustées

Des chercheurs ont étudié l'efficacité des algèbres hypercomplexes (quaternions, octonions, sédénions, algèbres de Clifford) dans les réseaux de neurones à travers 35 expériences contrôlées. Selon eux, les comparaisons typiques dans la littérature sont erronées : les couches hypercomplexes sont comparées à des modèles de base non structurés, alors que l'avantage pourrait simplement provenir du fait d'avoir une structure quelconque. Les auteurs ont introduit quatre architectures de contrôle avec le même nombre de paramètres : rotation réelle, tenseur de structure mélangée, HRR réel et orthogonalité réelle. Après avoir ajouté au moins un contrôle, l'avantage revendiqué a disparu dans les huit tâches originales, y compris leur propre résultat phare avec un modèle d'espace d'état octonion — il n'a surpassé les autres que sur des groupes pouvant être plongés dans les quaternions. La seule exception était une tâche de suivi d'état sur le groupe tétraédrique binaire, où la récurrence quaternionique a extrapolé jusqu'à une longueur de 1024 avec une précision de 0,992. Cependant, cela s'explique par le paysage d'optimisation plutôt que par une magie algébrique : SO(4) contient une solution exacte, mais la descente de gradient stochastique ne la trouve de manière fiable que dans la paramétrisation quaternionique. De plus, LRU (récurrence diagonale complexe) a battu la version quaternionique avec le même nombre de paramètres. Les auteurs ont également prouvé une série de résultats d'impossibilité exacts : les réflexions sont inatteignables dans les algèbres de Cayley–Dickson, les diviseurs de zéro ne peuvent pas implémenter l'exclusion à 3 voies (maximum 0,500, contre 16 voies pour l'orthogonalité), la non-associativité annule le scan parallèle pour les longues séquences, et les produits tensoriels d'algèbres s'effondrent en algèbres matricielles ordinaires. En fin de compte, le meilleur résultat provenait de l'algèbre complexe bidimensionnelle 'ennuyeuse'. Les auteurs préconisent l'utilisation obligatoire d'un contrôle structuré réel avec paramètres appariés et d'un contrôle de structure mélangée dans la recherche sur les couches structurées afin d'éviter les faux positifs. Le préprint et le code sont disponibles publiquement.