Keine Magie: 35 kontrollierte Experimente zeigen, dass "exotische Algebren" korrekt abgestimmten reellwertigen Architekturen nicht überlegen sind
Eine Gruppe von Forschern führte eine groß angelegte kontrollierte Studie zu hyperkomplexen Algebren (Quaternionen, Oktonionen, Sedenionen und Clifford-Algebren) in neuronalen Netzen durch. In allen 35 Experimenten verschwand der behauptete Vorteil, nachdem eine korrekt abgestimmte reellwertige Kontrollbasislinie hinzugefügt wurde. Der einzige konsistente Erfolgsprädiktor erwies sich nicht als exotische Arithmetik, sondern als Schichtstrukturiertheit.
Forscher untersuchten die Wirksamkeit hyperkomplexer Algebren (Quaternionen, Oktonionen, Sedenionen, Clifford-Algebren) in neuronalen Netzen mittels 35 kontrollierter Experimente. Ihrer Ansicht nach sind typische Vergleiche in der Literatur fehlerhaft: Hyperkomplexe Schichten werden mit unstrukturierten Baselines verglichen, während der Vorteil schlichtweg aus dem Vorhandensein einer beliebigen Struktur stammen könnte. Die Autoren führten vier Kontrollarchitekturen mit gleicher Parameterzahl ein: Real-Rotation, Shuffled Structure Tensor, Real HRR und Real-Orthogonalität. Nach Hinzufügen mindestens einer Kontrolle verschwand der behauptete Vorteil in allen 8 ursprünglichen Aufgaben, einschließlich ihres eigenen Hauptergebnisses mit einem Oktonionen-Zustandsraummodell – es übertraf nur bei Gruppen, die in Quaternionen eingebettet werden können. Die einzige Ausnahme war eine Zustandsverfolgungsaufgabe zur binären Tetraedergruppe, bei der die Quaternionen-Rekurrenz auf Länge 1024 mit einer Genauigkeit von 0,992 extrapolierte. Dies erklärt sich jedoch durch die Optimierungslandschaft und nicht durch algebraische Magie: SO(4) enthält eine exakte Lösung, aber stochastischer Gradientenabstieg findet sie nur innerhalb der Quaternionen-Parametrisierung zuverlässig. Zudem schlug LRU (komplexe diagonale Rekurrenz) die Quaternionen-Version mit derselben Parameterzahl. Die Autoren bewiesen zudem eine Reihe exakter Unmöglichkeitsergebnisse: Spiegelungen sind in Cayley-Dickson-Algebren nicht erreichbar, Nullteiler können keine 3-Wege-Exklusion implementieren (maximal 0,500, vs. 16-Wege für Orthogonalität), Nichtassoziativität hebt paralleles Scannen für lange Sequenzen auf, und Tensorprodukte von Algebren kollabieren zu gewöhnlichen Matrixalgebren. Letztlich stammte das beste Ergebnis von der 'langweiligen' zweidimensionalen komplexen Algebra. Die Autoren plädieren für die obligatorische Verwendung parametermatchierter reeller Struktur- und Shuffled-Structure-Kontrollen in der Forschung zu strukturierten Schichten, um Fehlalarme zu vermeiden. Das Preprint und der Code sind öffentlich verfügbar.
Quelle: Habr — хаб ИИ —
Original