Tidak Ada Sihir: 35 Eksperimen Terkontrol Menunjukkan bahwa "Aljabar Eksotis" Tidak Mengungguli Arsitektur Bernilai Riil yang Disetel dengan Baik

Para peneliti mempelajari efektivitas aljabar hiperkompleks (quaternion, oktonion, sedenion, aljabar Clifford) dalam jaringan saraf melalui 35 eksperimen terkontrol. Menurut mereka, perbandingan tipikal dalam literatur memiliki cacat: lapisan hiperkompleks dibandingkan dengan garis dasar tak terstruktur, padahal keunggulan mungkin hanya berasal dari memiliki struktur tertentu. Para penulis memperkenalkan empat arsitektur kontrol dengan jumlah parameter yang sama: Real-rotation, Shuffled structure tensor, Real HRR, dan Real-orthogonality. Setelah menambahkan setidaknya satu kontrol, keunggulan yang diklaim menghilang di semua 8 tugas asli, termasuk hasil utama mereka dengan model ruang keadaan oktonion — model tersebut hanya lebih unggul pada grup yang dapat disematkan dalam quaternion. Satu-satunya pengecualian adalah tugas pelacakan keadaan pada grup tetrahedral biner, di mana rekurensi quaternion mampu mengekstrapolasi hingga panjang 1024 dengan akurasi 0,992. Namun, hal ini dijelaskan oleh lanskap optimasi, bukan sihir aljabar: SO(4) berisi solusi eksak, tetapi penurunan gradien stokastik hanya menemukannya secara andal dalam parametrisasi quaternion. Selain itu, LRU (rekurensi diagonal kompleks) mengalahkan versi quaternion dengan jumlah parameter yang sama. Para penulis juga membuktikan serangkaian hasil ketidakmungkinan yang eksak: refleksi tidak dapat dicapai dalam aljabar Cayley–Dickson, pembagi nol tidak dapat mengimplementasikan eksklusi 3-arah (maks 0,500, vs. 16-arah untuk ortogonalitas), non-asosiatif membatalkan pemindaian paralel untuk urutan panjang, dan perkalian tensor dari aljabar runtuh menjadi aljabar matriks biasa. Pada akhirnya, hasil terbaik berasal dari aljabar kompleks dua dimensi yang 'membosankan'. Para penulis menganjurkan penggunaan wajib kontrol terstruktur real dengan parameter yang cocok dan kontrol struktur acak dalam penelitian tentang lapisan terstruktur untuk menghindari positif palsu. Pracetak dan kode tersedia untuk umum.