PCAの5つの視点：分散最大化からSVDまで

この記事はPCAを5つの観点から紹介しています。まず、分散最大化から始めます。第1主成分は射影された分散を最大化する方向であり、共分散行列の最大固有値に対応する固有ベクトルとして見つかります。後続の主成分は直交し、より小さい固有値に対応します。共分散行列は対称かつ半正定値であるため、固有値は非負です。PCAは主成分の共分散行列が対角行列になるため、データの無相関化を行います。ホワイトニングはPCAを拡張し、各成分を単位分散にスケーリングしますが、ノイズを増幅する可能性があります。もう一つの観点では、PCAを中心化されたデータ行列の特異値分解の特別な場合と捉え、特異ベクトルを共分散行列の固有ベクトルに関連付けます。この記事はまた、スペクトル分解、直交射影子、アフィン変換にも触れ、これらすべてが統一された幾何学的視点を支えています。この議論は、アレクサンダー・バーンスタインによるSkoltechの機械学習の幾何学的方法に関するコースに触発されています。