Lima Perspektif tentang PCA: dari Maksimalisasi Varians hingga SVD

Artikel ini menyajikan PCA dari lima perspektif, dimulai dengan maksimalisasi varians: komponen utama pertama adalah arah yang memaksimalkan varians proyeksi, ditemukan sebagai vektor eigen dari matriks kovarians dengan nilai eigen terbesar. Komponen-komponen berikutnya bersifat ortogonal dan berkorespondensi dengan nilai eigen yang lebih rendah. Matriks kovarians bersifat simetris dan semidefinit positif, menghasilkan nilai eigen nonnegatif. PCA mendekorelasi data karena komponen-komponen utama memiliki matriks kovarians diagonal. Whitening memperluas PCA dengan menskalakan komponen ke varians unit, meskipun ini dapat memperkuat noise. Perspektif lain memandang PCA sebagai kasus khusus dari Dekomposisi Nilai Singular (SVD) dari matriks data yang terpusat, menghubungkan vektor singular dengan vektor eigen dari matriks kovarians. Artikel ini juga menyinggung dekomposisi spektral, proyektor ortogonal, dan transformasi afin, semuanya mendukung pandangan geometris yang terpadu. Diskusi ini terinspirasi oleh kursus Skoltech tentang metode geometris pembelajaran mesin oleh Alexander Bernstein.