Sin Magia: 35 Experimentos Controlados Muestran que las "Álgebras Exóticas" No Superan a las Arquitecturas de Valor Real Bien Ajustadas
Un grupo de investigadores realizó un estudio controlado a gran escala de álgebras hipercomplejas (cuaterniones, octoniones, sedeniones y álgebras de Clifford) en redes neuronales. En los 35 experimentos, tras añadir una línea base de valor real bien ajustada, la ventaja afirmada desapareció. El único predictor consistente del éxito resultó no ser la aritmética exótica, sino la estructuración de las capas.
Investigadores estudiaron la efectividad de las álgebras hipercomplejas (cuaterniones, octoniones, sedeniones, álgebras de Clifford) en redes neuronales mediante 35 experimentos controlados. Según ellos, las comparaciones típicas en la literatura son erróneas: las capas hipercomplejas se comparan con líneas de base no estructuradas, mientras que la ventaja podría provenir simplemente de tener cualquier estructura. Los autores introdujeron cuatro arquitecturas de control con el mismo número de parámetros: Real-rotación, Tensor de estructura mezclada, HRR real y Real-ortogonalidad. Tras añadir al menos un control, la supuesta ventaja desapareció en las 8 tareas originales, incluido su propio resultado destacado con un modelo de espacio de estado octonión: solo superó en grupos embebibles en cuaterniones. La única excepción fue una tarea de seguimiento de estado en el grupo tetraédrico binario, donde la recurrencia cuaterniónica extrapoló a una longitud de 1024 con una precisión de 0,992. Sin embargo, esto se explica por el panorama de optimización más que por magia algebraica: SO(4) contiene una solución exacta, pero el descenso de gradiente estocástico la encuentra de manera fiable solo dentro de la parametrización cuaterniónica. Además, LRU (recurrencia diagonal compleja) superó a la versión cuaterniónica con el mismo número de parámetros. Los autores también demostraron una serie de resultados de imposibilidad exacta: las reflexiones son inalcanzables en las álgebras de Cayley-Dickson, los divisores de cero no pueden implementar exclusión de 3 vías (máximo 0,500, frente a 16 vías para ortogonalidad), la no asociatividad cancela el escaneo paralelo para secuencias largas y los productos tensoriales de álgebras colapsan en álgebras matriciales ordinarias. En última instancia, el mejor resultado provino del 'aburrido' álgebra compleja bidimensional. Los autores abogan por el uso obligatorio de control estructurado real con parámetros igualados y control de estructura mezclada en la investigación sobre capas estructuradas para evitar falsos positivos. El preimpreso y el código están disponibles públicamente.
Fuente: Habr — хаб ИИ —
original