Ei taikuutta: 35 kontrolloitua koetta osoittavat, etteivät "eksoottiset algebra" suoriudu paremmin kuin asianmukaisesti viritetyt reaaliarvoiset arkkitehtuurit
Tutkijaryhmä suoritti laajan kontrolloidun tutkimuksen hyperkompleksisista algebroista (kvaterniot, oktoniot, sedenionit ja Clifford-algebrat) neuroverkoissa. Kaikissa 35 kokeessa, kun mukaan lisättiin asianmukaisesti viritetty reaaliarvoinen kontrolli, väitetty etu katosi. Ainoa johdonmukainen menestyksen ennustaja ei ollut eksoottinen aritmetiikka, vaan kerrosten jäsentyneisyys.
Tutkijat tutkivat hyperkompleksisten algebroiden (kvaternioiden, oktonioiden, sedenioiden, Clifford-algebroiden) tehokkuutta neuroverkoissa 35 kontrolloidussa kokeessa. Heidän mukaansa kirjallisuuden tyypilliset vertailut ovat puutteellisia: hyperkompleksisia kerroksia verrataan rakenteettomiin perustasoihin, vaikka etu saattaisi johtua yksinkertaisesti minkä tahansa rakenteen olemassaolosta. Kirjoittajat esittelivät neljä kontrolliarkkitehtuuria, joilla on sama määrä parametreja: reaalikierto, sekoitettu rakennetensori, reaalinen HRR (holografinen hajautettu esitys) sekä reaalinen ortogonaalisuus. Kun ainakin yksi kontrolli lisättiin, väitetty etu katosi kaikissa kahdeksassa alkuperäisessä tehtävässä, mukaan lukien heidän oma otsikkotuloksensa oktoniotila-avaruusmallilla – se menestyi ainoastaan kvaternioihin upotettavissa ryhmissä. Ainoa poikkeus oli binääriseen tetraedriryhmään liittyvä tilanseurantatehtävä, jossa kvaternioiterointi ekstrapoloitui pituuteen 1024 tarkkuudella 0,992. Tämä kuitenkin selittyy optimointimaisemalla eikä algebrallisella taikuudella: SO(4) sisältää tarkan ratkaisun, mutta stokastinen gradienttilasku löytää sen luotettavasti vain kvaternio(parametrisoinnin) sisällä. Lisäksi LRU (kompleksinen diagonaali iterointi) voitti kvaternioversion samalla parametrimäärällä. Kirjoittajat todistivat myös sarjan tarkkoja mahdottomuustuloksia: heijastukset eivät ole saavutettavissa Cayley–Dickson-algebroissa, nollajakajat eivät kykene toteuttamaan kolmitiepoissulkua (enintään 0,500, verrattuna 16-tiehen ortogonaalisuudelle), epäassosiatiivisuus kumoaa rinnakkaisskannauksen pitkille jonoille ja algebroiden tensoritulot romahtavat tavallisiksi matriisialgebroiksi. Lopulta paras tulos saavutettiin 'tylsällä' kaksiulotteisella kompleksialgebralla. Kirjoittajat suosittelevat parametrien suhteen vastaavan reaalisen rakenteellisen kontrollin ja sekoitetun rakenteen kontrollin pakollista käyttöä rakenteellisia kerroksia koskevassa tutkimuksessa väärien positiivisten tulosten välttämiseksi. Esipainos ja koodi ovat julkisesti saatavilla.
Lähde: Habr — хаб ИИ —
Alkuperäinen