Никакой магии: 35 контролируемых экспериментов показали, что «экзотические алгебры» не превосходят правильно подобранные real-valued архитектуры
Группа исследователей провела масштабное контролируемое исследование гиперкомплексных алгебр (кватернионов, октонионов, седенионов и алгебр Клиффорда) в нейронных сетях. Во всех 35 экспериментах после добавления правильно подобранного real-valued control-базлайна заявленное преимущество исчезало. Единственным устойчивым предиктором успеха оказалась не экзотическая арифметика, а структурированность слоя.
Исследователи изучили эффективность гиперкомплексных алгебр (кватернионы, октонионы, седенионы, алгебры Клиффорда) в нейронных сетях с помощью 35 контролируемых экспериментов. По их мнению, типичные сравнения в литературе ошибочны: гиперкомплексные слои сопоставляются с неструктурированными базовыми моделями, тогда как преимущество может быть обусловлено просто наличием любой структуры. Авторы
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал