Vijf perspectieven op PCA: van variantiemaximalisatie tot SVD

Het artikel presenteert PCA vanuit vijf perspectieven, te beginnen met variantiemaximalisatie: de eerste hoofdcomponent is de richting die de geprojecteerde variantie maximaliseert, gevonden als de eigenvector van de covariantiematrix met de grootste eigenwaarde. Daaropvolgende componenten staan orthogonaal en corresponderen met lagere eigenwaarden. De covariantiematrix is symmetrisch en positief semi-definiet, wat leidt tot niet-negatieve eigenwaarden. PCA decorreleert data doordat de hoofdcomponenten een diagonale covariantiematrix hebben. Whitening breidt PCA uit door componenten te schalen tot eenheidsvariantie, hoewel dit ruis kan versterken. Een ander perspectief beschouwt PCA als een speciaal geval van singulierewaardenontleding (Singular Value Decomposition, SVD) van de gecentreerde datamatrix, waarbij singuliere vectoren gerelateerd worden aan eigenvectoren van covariantiematrices. Het artikel raakt ook spectrale decompositie, orthogonale projectoren en affiene transformaties, die allemaal een uniforme geometrische kijk ondersteunen. De discussie is geïnspireerd door een cursus van Skoltech over geometrische methoden van machinaal leren, gegeven door Alexander Bernstein.