Apa yang Sebenarnya Dipelajari word2vec? Peneliti Akhirnya Memiliki Teori Pembelajaran yang Tepat
Berkeley Artificial Intelligence Research (BAIR)
Peneliti dari BAIR (Berkeley AI) telah mengembangkan teori kuantitatif dan prediktif pertama untuk proses pembelajaran word2vec. Mereka membuktikan bahwa dalam kondisi realistis, pelatihan mereduksi menjadi faktorisasi matriks kuadrat terkecil tanpa bobot, dengan embeddings akhir diberikan oleh PCA dari matriks tertentu yang diturunkan dari statistik korpus.
Dalam sebuah makalah baru, peneliti dari BAIR memberikan teori bentuk tertutup pertama untuk dinamika pembelajaran word2vec. Mereka menunjukkan bahwa ketika embeddings diinisialisasi mendekati nol, model mempelajari konsep satu per satu, masing-masing terkait dengan subruang linear ortogonal, dan peringkat efektif dari matriks embedding meningkat secara bertahap. Fitur yang dipelajari adalah vektor eigen teratas dari matriks M* yang didefinisikan oleh probabilitas kemunculan bersama (co-occurrence). Teori ini cocok dengan eksperimen numerik: word2vec mencapai 68% pada tolok ukur analogi, model perkiraan mendapatkan 66%, dibandingkan dengan 51% untuk metode PPMI klasik. Karya ini juga menjelaskan munculnya representasi linear untuk konsep abstrak seperti gender atau kala (tense).
Sumber: BAIR (Berkeley AI) —
asli