What Does word2vec Actually Learn? Researchers Finally Have an Exact Training Theory
Berkeley Artificial Intelligence Research (BAIR)
Researchers from BAIR (Berkeley Artificial Intelligence Research) have presented the first complete quantitative theory of word2vec training. They proved that in practically relevant regimes, training reduces to principal component analysis (PCA) matrix factorization, with each learned feature corresponding to an interpretable concept. The theory allows computing all features in advance based on corpus statistics and algorithm hyperparameters.
Yeni bir çalışmada, BAIR (Berkeley AI) araştırmacıları ilk kez word2vec öğreniminin kapalı formda analitik bir teorisini elde etti. Gerçekçi koşullar altında öğrenimin, ağırlıksız en küçük kareler matris ayrışımına indirgendiğini ve gradyan iniş dinamiklerinin kapalı formda çözülebildiğini kanıtladılar: nihai temsiller Temel Bileşen Analizi (PCA) ile veriliyor. Küçük başlangıç ağırlıklarıyla model, her adımda yeni bir ortogonal doğrusal altuzay özelliği ekleyerek ayrık adımlarla öğreniyor. Bu özellikler, kelimelerin birlikte bulunma olasılıkları ve unigram olasılıklarından hesaplanan M* matrisinin özvektörleridir. Örneğin, ilk temel vektör ünlü biyografileriyle ilişkili kelimeleri, ikincisi devlet yönetimiyle, üçüncüsü coğrafi betimlemelerle ilgili kelimeleri ayırt ediyor. Teori dört yumuşak yaklaşım kullanıyor (hedef fonksiyonunun dördüncü dereceden açılımı, hiperparametrelerin özel ayarı, yeterince küçük başlangıç ağırlıkları ve sonsuz küçük gradyan iniş adımları), ancak veri dağılımına herhangi bir kısıtlama getirmiyor. Deneyler, yaklaşık modelin benzetme görevinde %66 doğruluk elde ettiğini gösteriyor (word2vec %68, klasik PPMI yöntemi %51). Ayrıca teori, soyut doğrusal temsillerin (örneğin eril/dişil cinsiyet) seyrek rastgele matris modelleri olarak ortaya çıkışını tanımlamayı sağladı: öğrenmenin erken aşamalarında anlamsal sinyal baskınken, geç aşamalarda gürültü baskın hale gelip temsillerin doğruluğunu bozabiliyor.
Kaynak: BAIR (Berkeley AI) —
orijinal