モデルが概念を多様体にパックする方法：理論、実践、そして円を探す

この記事は、AIモデルが実世界の概念を活性化空間内の幾何学的構造にパッケージ化することを説明している。二元対立のような概念は2つの孤立点（0次元）を形成し、曜日は円（1次元多様体）を形成し、階層構造は次元が適用できない単体複体を形成する。ホイットニーの埋め込み定理（1944年）は、任意の滑らかなd次元多様体をR^{2d}に滑らかに埋め込むことができると述べており、これは必要な次元の理論的上限を与える。しかし、この定理は近似埋め込みと重ね合わせのため、モデルを直接制限するものではない。多様体は、概念が連続的に順序付けられ、モデルの訓練目的がその構造に対する操作を必要とする場合に現れる。実用的な例としては、GPT-2（レイヤー7）とMistral 7BでSAEクラスタリングと主成分分析により発見された曜日の円形表現があり、これらの構造への介入はモデルの挙動を変える。