word2vec Gerçekten Ne Öğreniyor? Araştırmacılar Nihayet Kesin Bir Öğrenme Teorisine Sahip
Berkeley Artificial Intelligence Research (BAIR)
BAIR (Berkeley AI) araştırmacıları, word2vec'in öğrenme süreci için ilk niceliksel ve öngörücü teoriyi geliştirdi. Gerçekçi koşullar altında eğitimin ağırlıklandırılmamış en küçük kareler matris ayrıştırmasına indirgendiğini ve nihai gömme vektörlerinin, külliyat istatistiklerinden türetilen belirli bir matrisin PCA'sı (temel bileşen analizi) ile verildiğini kanıtlıyorlar.
Yeni bir makalede BAIR araştırmacıları, word2vec'in öğrenme dinamikleri için ilk kapalı form teorisini sunuyor. Embedding'ler sıfıra yakın başlatıldığında, modelin kavramları birer birer öğrendiğini, her birinin ortogonal bir lineer alt uzaya karşılık geldiğini ve embedding matrisinin efektif rankının adım adım arttığını gösteriyorlar. Öğrenilen özellikler, birlikte oluşum olasılıkları tarafından tanımlanan bir M* matrisinin en büyük özvektörleridir. Teori, sayısal deneylerle iyi uyuşuyor: word2vec, analogi kıyaslamalarında %68 başarı elde ederken, yaklaşık model %66, klasik Pozitif Noktasal Karşılıklı Bilgi (PPMI) yöntemi ise %51 başarı sağlıyor. Çalışma ayrıca cinsiyet veya zaman gibi soyut kavramlar için lineer temsillerin ortaya çıkışını da açıklıyor.
Kaynak: BAIR (Berkeley AI) —
orijinal