Viisi näkökulmaa PCA:han: Varianssin maksimoinnista SVD:hen

Artikkelissa PCA:ta tarkastellaan viidestä näkökulmasta, alkaen varianssin maksimoinnista: ensimmäinen pääkomponentti on suunta, joka maksimoi projisoidun varianssin, ja se löydetään kovarianssimatriisin suurinta ominaisarvoa vastaavana ominaisvektorina. Seuraavat komponentit ovat ortogonaalisia ja vastaavat pienempiä ominaisarvoja. Kovarianssimatriisi on symmetrinen ja positiivisesti semidefiniitti, joten sen ominaisarvot ovat epänegatiivisia. PCA hajauttaa datan, koska pääkomponenteilla on diagonaalinen kovarianssimatriisi. Valkaisu laajentaa PCA:ta skaalaamalla komponentit yksikkövarianssiin, mutta se voi vahvistaa kohinaa. Toinen näkökulma esittää PCA:n erikoistapauksena keskitetyn datamatriisin singulaariarvohajotelmasta (SVD), joka yhdistää singulaarivektorit kovarianssimatriisien ominaisvektoreihin. Artikkeli käsittelee myös spektraalihajotelmaa, ortogonaalisia projektoreita ja affiineja muunnoksia, jotka kaikki tukevat yhtenäistä geometrista näkemystä. Keskustelu on saanut innoituksensa Skoltechin kurssista geometrisista menetelmistä koneoppimisessa, jonka opettajana on Alexander Bernstein.