Cinco Perspectivas sobre PCA: Da Maximização de Variância à SVD
O artigo explora a Análise de Componentes Principais (PCA) através de cinco pontos de vista distintos: maximização de variância, descorrelação, branqueamento, SVD e interpretações geométricas. Cada perspectiva revela diferentes fundamentos matemáticos do mesmo método, enfatizando sua importância na análise de dados.
O artigo apresenta PCA a partir de cinco perspectivas, começando pela maximização da variância: a primeira componente principal é a direção que maximiza a variância projetada, encontrada como o autovetor da matriz de covariância com o maior autovalor. As componentes subsequentes são ortogonais e correspondem a autovalores menores. A matriz de covariância é simétrica e semidefinida positiva, o que leva a autovalores não negativos. PCA descorrelaciona os dados porque as componentes principais têm uma matriz de covariância diagonal. A branqueamento estende o PCA escalando as componentes para variância unitária, embora possa amplificar o ruído. Outra perspectiva enquadra o PCA como um caso especial da Decomposição em Valores Singulares (SVD) da matriz de dados centralizada, relacionando vetores singulares a autovetores de matrizes de covariância. O artigo também aborda a decomposição espectral, projetores ortogonais e transformações afins, todos apoiando uma visão geométrica unificada. A discussão é inspirada por um curso da Skoltech sobre métodos geométricos de aprendizado de máquina, ministrado por Alexander Bernstein.
Fonte: Habr — хаб ML —
original
