Năm góc nhìn về PCA: Từ tối đa hóa phương sai đến SVD

Bài viết trình bày PCA từ năm góc nhìn, bắt đầu với việc tối đa hóa phương sai: thành phần chính đầu tiên là hướng tối đa hóa phương sai của dữ liệu chiếu, được tìm thấy như là vector riêng của ma trận hiệp phương sai với giá trị riêng lớn nhất. Các thành phần tiếp theo là trực giao và tương ứng với các giá trị riêng thấp hơn. Ma trận hiệp phương sai là đối xứng và nửa xác định dương, dẫn đến các giá trị riêng không âm. PCA làm giảm tương quan dữ liệu vì các thành phần chính có ma trận hiệp phương sai đường chéo. Chuẩn hóa trắng (whitening) mở rộng PCA bằng cách co giãn các thành phần về phương sai đơn vị, mặc dù nó có thể khuếch đại nhiễu. Một góc nhìn khác coi PCA như một trường hợp đặc biệt của phân rã giá trị kỳ dị (Singular Value Decomposition - SVD) của ma trận dữ liệu đã chuẩn hóa, liên hệ các vector kỳ dị với các vector riêng của ma trận hiệp phương sai. Bài viết cũng đề cập đến phân rã phổ, phép chiếu trực giao, và các phép biến đổi affine, tất cả hỗ trợ một quan điểm hình học thống nhất. Cuộc thảo luận được lấy cảm hứng từ khóa học Skoltech về các phương pháp hình học trong học máy của Alexander Bernstein.