형식, 대칭, 구조: 머신러닝 연구에서 수학의 변화하는 역할

이 기사는 기계 학습 연구가 수학적으로 원리적인 아키텍처에서 예측하지 못한 능력을 산출하는 계산 집약적이고 엔지니어링 우선 접근 방식으로 전환된 것을 논의합니다. 그럼에도 불구하고 저자들은 수학이 여전히 관련성이 있으며, 경험적 현상에 대한 사후 설명을 제공하고 데이터 대칭성에 아키텍처를 맞추는 것과 같은 높은 수준의 설계 선택을 안내하는 방식으로 진화하고 있다고 주장합니다. 위상수학, 대수학, 기하학과 같은 순수 수학 분야는 이제 기계 학습에 적용되어 모델 가중치와 숨은 활성화를 이해하는 것과 같은 과제를 해결하는 데 도움을 줍니다. 내재 차원과 곡률과 같은 도구는 데이터 세트 복잡성, 일반화 및 모델 견고성을 특성화하는 데 사용됩니다.