Fünf Perspektiven auf PCA: Von der Varianzmaximierung zur Singulärwertzerlegung

Der Artikel stellt PCA aus fünf Perspektiven vor. Zunächst wird die Varianzmaximierung betrachtet: Die erste Hauptkomponente ist die Richtung, die die projizierte Varianz maximiert, und wird als Eigenvektor der Kovarianzmatrix zum größten Eigenwert gefunden. Weitere Komponenten sind orthogonal und entsprechen kleineren Eigenwerten. Die Kovarianzmatrix ist symmetrisch und positiv semidefinit, was zu nichtnegativen Eigenwerten führt. PCA dekorreliert die Daten, da die Hauptkomponenten eine diagonale Kovarianzmatrix haben. Whitening erweitert PCA, indem die Komponenten auf Einheitsvarianz skaliert werden, kann aber das Rauschen verstärken. Eine andere Perspektive betrachtet PCA als Spezialfall der Singulärwertzerlegung der zentrierten Datenmatrix, wobei die Singulärvektoren mit den Eigenvektoren der Kovarianzmatrizen zusammenhängen. Der Artikel geht auch auf die Spektralzerlegung, orthogonale Projektoren und affine Transformationen ein, die alle eine einheitliche geometrische Sicht unterstützen. Die Diskussion ist inspiriert von einem Kurs an der Skoltech über geometrische Methoden des maschinellen Lernens von Alexander Bernstein.