形式、対称性、構造：機械学習研究における数学の変化する役割

この記事は、機械学習研究における、数学的に原理的なアーキテクチャから、予測不能な能力をもたらす計算集約的でエンジニアリング優先のアプローチへのシフトについて論じています。それにもかかわらず、著者らは、数学が依然として関連性を持ち、経験的現象の事後的な説明を提供し、データの対称性にアーキテクチャを合わせるといった高レベルの設計選択を導くように進化していると主張しています。位相幾何学、代数学、幾何学といった純粋数学の分野は現在、機械学習に応用され、モデルの重みや隠れアクティベーションの理解といった課題に取り組むのに役立っています。内在次元や曲率といったツールは、データセットの複雑さ、汎化、モデルのロバスト性を特徴づけるために使用されています。