Что на самом деле изучает word2vec? Исследователи наконец получили точную теорию обучения
Berkeley Artificial Intelligence Research (BAIR)
Исследователи из BAIR (Berkeley AI) разработали первую количественную и предсказательную теорию процесса обучения word2vec. Они доказывают, что в реалистичных условиях обучение сводится к невзвешенному разложению матрицы методом наименьших квадратов, а итоговые эмбеддинги задаются методом главных компонент (PCA) для конкретной матрицы, полученной из статистики корпуса.
В новой статье исследователи из BAIR (Berkeley Artificial Intelligence Research) представляют первую замкнутую теорию динамики обучения word2vec. Они показывают, что когда эмбеддинги инициализируются близкими к нулю, модель изучает концепции по одной, каждая из которых соответствует ортогональному линейному подпространству, а эффективный ранг матрицы эмбеддингов увеличивается пошагово. Изученные
Показать ещё ↓
Источник: BAIR (Berkeley AI) —
оригинал