Sem Magia: 35 Experimentos Controlados Mostram que "Álgebras Exóticas" Não Superam Arquiteturas de Valores Reais Adequadamente Ajustadas
Um grupo de pesquisadores conduziu um estudo controlado em larga escala de álgebras hipercomplexas (quatérnions, octônions, sedênions e álgebras de Clifford) em redes neurais. Em todos os 35 experimentos, após adicionar uma linha de base de valores reais adequadamente ajustada, a vantagem alegada desapareceu. O único preditor consistente de sucesso acabou sendo não a aritmética exótica, mas a estruturação das camadas.
Pesquisadores estudaram a eficácia de álgebras hipercomplexas (quatérnios, octônios, sedênios, álgebras de Clifford) em redes neurais por meio de 35 experimentos controlados. Segundo eles, comparações típicas na literatura são falhas: camadas hipercomplexas são comparadas com baselines não estruturados, enquanto a vantagem pode simplesmente vir de se ter qualquer estrutura. Os autores introduziram quatro arquiteturas de controle com o mesmo número de parâmetros: Rotação real, Tensor de estrutura embaralhada, HRR real e Ortogonalidade real. Após adicionar pelo menos um controle, a suposta vantagem desapareceu em todas as 8 tarefas originais, incluindo seu próprio resultado principal com um modelo de espaço de estados octônio — ele só se destacou em grupos incorporáveis em quatérnios. A única exceção foi uma tarefa de rastreamento de estado no grupo tetraédrico binário, onde a recorrência de quatérnios extrapolou para comprimento 1024 com exatidão 0,992. No entanto, isso é explicado pela paisagem de otimização, não por magia algébrica: SO(4) contém uma solução exata, mas o gradiente descendente estocástico a encontra de forma confiável apenas dentro da parametrização de quatérnios. Além disso, LRU (recorrência diagonal complexa) superou a versão de quatérnios com o mesmo número de parâmetros. Os autores também provaram uma série de resultados exatos de impossibilidade: reflexões são inatingíveis em álgebras de Cayley–Dickson, divisores de zero não podem implementar exclusão ternária (máximo 0,500, contra 16 vias para ortogonalidade), não associatividade cancela varredura paralela para sequências longas, e produtos tensoriais de álgebras colapsam em álgebras matriciais comuns. No final, o melhor resultado veio da 'chata' álgebra complexa bidimensional. Os autores defendem o uso obrigatório de controle estruturado real com parâmetros equivalentes e controle de estrutura embaralhada em pesquisas sobre camadas estruturadas para evitar falsos positivos. O preprint e o código estão disponíveis publicamente.
Fonte: Habr — хаб ИИ —
original