Không có phép màu: 35 thí nghiệm có kiểm soát cho thấy "Đại số ngoại lai" không vượt trội so với kiến trúc giá trị thực được tinh chỉnh hợp lý

Các nhà nghiên cứu đã nghiên cứu hiệu quả của các đại số siêu phức (quaternion, octonion, sedenion, đại số Clifford) trong mạng nơ-ron thông qua 35 thí nghiệm có kiểm soát. Theo họ, các so sánh điển hình trong tài liệu là sai lệch: các lớp siêu phức được so sánh với các đường cơ sở không có cấu trúc, trong khi lợi thế có thể chỉ đơn giản đến từ việc có bất kỳ cấu trúc nào. Các tác giả đã giới thiệu bốn kiến trúc kiểm soát với cùng số lượng tham số: Real-rotation, Shuffled structure tensor, Real HRR và Real-orthogonality. Sau khi thêm ít nhất một kiểm soát, lợi thế được cho là đã biến mất trong tất cả 8 tác vụ ban đầu, bao gồm kết quả nổi bật của chính họ với mô hình không gian trạng thái octonion — nó chỉ vượt trội trên các nhóm có thể nhúng trong quaternion. Ngoại lệ duy nhất là một tác vụ theo dõi trạng thái trên nhóm tứ diện nhị phân, nơi phép hồi quy quaternion ngoại suy lên độ dài 1024 với độ chính xác 0,992. Tuy nhiên, điều này được giải thích bởi cảnh quan tối ưu hóa hơn là phép thuật đại số: SO(4) chứa một nghiệm chính xác, nhưng stochastic gradient descent chỉ đáng tin cậy tìm thấy nó trong tham số hóa quaternion. Hơn nữa, LRU (hồi quy đường chéo phức) đã đánh bại phiên bản quaternion với cùng số lượng tham số. Các tác giả cũng chứng minh một loạt các kết quả bất khả thi chính xác: phản xạ không thể đạt được trong đại số Cayley–Dickson, ước số không không thể thực hiện loại trừ 3 chiều (tối đa 0,500, so với 16 chiều cho tính trực giao), tính không kết hợp hủy bỏ quét song song cho các chuỗi dài, và tích tensor của các đại số suy biến thành các đại số ma trận thông thường. Cuối cùng, kết quả tốt nhất đến từ đại số phức hai chiều 'nhàm chán'. Các tác giả ủng hộ việc bắt buộc sử dụng kiểm soát thực có cấu trúc khớp tham số và kiểm soát cấu trúc xáo trộn trong nghiên cứu về các lớp có cấu trúc để tránh dương tính giả. Bản thảo trước in và mã nguồn được công khai.