Sihir Yok: 35 Kontrollü Deney, "Egzotik Cebirlerin" Düzgün Ayarlanmış Gerçel Değerli Mimarilerden Daha İyi Performans Göstermediğini Gösteriyor

Araştırmacılar, hiperkarmaşık cebirlerin (kuaterniyonlar, oktonyonlar, sedenyonlar, Clifford cebirleri) sinir ağlarındaki etkinliğini 35 kontrollü deneyle inceledi. Onlara göre, literatürdeki tipik karşılaştırmalar hatalıdır: hiperkarmaşık katmanlar yapısız taban çizgileriyle karşılaştırılırken, avantaj basitçe herhangi bir yapıya sahip olmaktan gelebilir. Yazarlar, aynı sayıda parametreye sahip dört kontrol mimarisi sundu: Gerçek-döndürme, Karışık yapı tensörü, Gerçek HRR ve Gerçek-dikgenlik. En az bir kontrol eklendikten sonra, iddia edilen avantaj, iki oktonyon durum-uzay modeli ile kendi başlık sonuçları da dahil olmak üzere tüm 8 orijinal görevde ortadan kalktı; yalnızca kuaterniyonlara gömülebilir gruplarda daha iyi performans gösterdi. Tek istisna, ikili tetrahedral grup üzerinde bir durum takibi göreviydi; burada kuaterniyon yinelemesi 0.992 doğrulukla 1024 uzunluğuna genelleme yaptı. Ancak bu, cebirsel bir büyüden ziyade optimizasyon manzarasıyla açıklanır: SO(4) tam bir çözüm içerir, ancak stokastik gradyan inişi bunu yalnızca kuaterniyon parametrizasyonu içinde güvenilir bir şekilde bulur. Üstelik, LRU (karmaşık diyagonal yineleme) aynı sayıda parametreyle kuaterniyon versiyonunu yendi. Yazarlar ayrıca bir dizi kesin imkansızlık sonucu kanıtladı: Cayley-Dickson cebirlerinde yansımalar elde edilemez, sıfır bölenler 3 yönlü dışlamayı uygulayamaz (maksimum 0.500, dikgenlik için 16 yönlüye karşı), ilişkisizlik uzun diziler için paralel taramayı iptal eder ve cebirlerin tensör çarpımları sıradan matris cebirlerine dönüşür. Sonuçta en iyi sonuç 'sıkıcı' iki boyutlu karmaşık cebirden geldi. Yazarlar, yanlış pozitifleri önlemek için yapılandırılmış katmanlar üzerine araştırmalarda parametre eşleştirmeli gerçek yapılandırılmış kontrol ve karışık yapı kontrolünün zorunlu kullanımını savunuyor. Ön baskı ve kod halka açıktır.