Bag of Words dan TF–IDF: Bagaimana Komputer Mengubah Teks menjadi Matematika

Artikel ini menjelaskan bagaimana komputer mengubah teks menjadi representasi numerik, dengan fokus pada Bag of Words (BoW) dan TF-IDF. BoW merepresentasikan teks sebagai vektor dari jumlah kata, mengabaikan urutan kata, sedangkan TF-IDF membobotkan kata berdasarkan frekuensinya dalam suatu dokumen dan kelangkaannya di seluruh korpus. Penulis memberikan konteks historis, mencatat bahwa BoW berasal dari tahun 1950-an hingga 1960-an dan TF-IDF dikembangkan oleh Karen Spärck Jones pada tahun 1972, kemudian dipopulerkan oleh Gerard Salton. Keterbatasannya termasuk mengabaikan urutan kata dan semantik. Artikel ini mencakup implementasi langkah demi langkah dalam PHP murni, menunjukkan tokenisasi, perhitungan frekuensi istilah, inverse document frequency, vektor TF-IDF, dan kemiripan kosinus untuk pencarian kemiripan dokumen.