主成分分析的五个视角：从方差最大化到奇异值分解
本文从五个不同视角探讨主成分分析（PCA）：方差最大化、去相关、白化、奇异值分解（SVD）以及几何解释。每个视角都揭示了同一方法的不同数学基础，强调了其在数据分析中的重要性。
这篇文章从五个角度介绍了PCA，首先从方差最大化开始：第一主成分是使投影方差最大的方向，即协方差矩阵最大特征值对应的特征向量。后续主成分正交，对应较小的特征值。协方差矩阵对称且半正定，因此特征值非负。PCA对数据去相关，因为主成分的协方差矩阵是对角矩阵。白化是PCA的扩展，它将各主成分缩放至单位方差，但可能会放大噪声。另一个视角将PCA视为中心化数据矩阵的奇异值分解（SVD）的特例，将奇异向量与协方差矩阵的特征向量联系起来。文章还涉及谱分解、正交投影和仿射变换，这些共同支持了一种统一的几何视角。该讨论受Skoltech大学Alexander Bernstein的机器学习几何方法课程的启发。
来源: Habr — хаб ML —
原文