Мешок слов и TF–IDF: как компьютеры превращают текст в математику
Эта статья объясняет мешок слов и TF–IDF, два фундаментальных метода представления текста. Рассматриваются их математические принципы, историческое происхождение и приводится полная реализация на чистом PHP для поиска по документам.
Статья описывает, как компьютеры преобразуют текст в числовые представления, уделяя внимание мешку слов (Bag of Words, BoW) и TF-IDF (Term Frequency-Inverse Document Frequency, частота термина-обратная частота документа). BoW представляет текст как вектор частот слов, игнорируя порядок слов, в то время как TF-IDF взвешивает слова по их частоте внутри документа и редкости в корпусе. Автор приводит
Показать ещё ↓
Источник: Хабр — Data Mining —
оригинал