Bag of Words và TF–IDF: Cách máy tính biến văn bản thành toán học

Bài viết mô tả cách máy tính chuyển đổi văn bản thành biểu diễn số, tập trung vào túi từ (Bag of Words - BoW) và TF-IDF. BoW biểu diễn văn bản dưới dạng vectơ của số lần xuất hiện từ, bỏ qua thứ tự từ, trong khi TF-IDF định trọng số các từ dựa trên tần suất xuất hiện trong tài liệu và độ hiếm trong toàn bộ tập văn bản (corpus). Tác giả cung cấp bối cảnh lịch sử, lưu ý rằng BoW có nguồn gốc từ những năm 1950-60 và TF-IDF được phát triển bởi Karen Spärck Jones vào năm 1972, sau đó được phổ biến bởi Gerard Salton. Các hạn chế bao gồm việc bỏ qua thứ tự từ và ngữ nghĩa. Bài viết bao gồm triển khai từng bước bằng PHP thuần, minh họa tokenization, tính tần suất thuật ngữ, tần suất nghịch đảo tài liệu, vectơ TF-IDF và cosine similarity để tìm kiếm độ tương đồng tài liệu.