word2vec वास्तव में क्या सीखता है? शोधकर्ताओं के पास अंततः एक सटीक सीखने का सिद्धांत है
Berkeley Artificial Intelligence Research (BAIR)
BAIR (बर्कले AI) के शोधकर्ताओं ने word2vec की सीखने की प्रक्रिया के लिए पहला मात्रात्मक और पूर्वानुमानित सिद्धांत विकसित किया है। वे साबित करते हैं कि यथार्थवादी परिस्थितियों में, प्रशिक्षण अभारित न्यूनतम वर्ग मैट्रिक्स फैक्टराइजेशन (unweighted least-squares matrix factorization) में बदल जाता है, जिसमें अंतिम एम्बेडिंग (embedding) एक विशिष्ट मैट्रिक्स के PCA (प्रिंसिपल कम्पोनेंट एनालिसिस) द्वारा प्राप्त की जाती है, जो कॉर्पस सांख्यिकी से ली गई है।
एक नए पेपर में, बर्कले एआई रिसर्च (BAIR) के शोधकर्ताओं ने वर्ड2वेक (word2vec) की सीखने की गतिशीलता के लिए पहला क्लोज्ड-फॉर्म सिद्धांत प्रस्तुत किया है। वे दिखाते हैं कि जब एम्बेडिंग्स को शून्य के करीब इनिशियलाइज़ किया जाता है, तो मॉडल एक समय में एक अवधारणा सीखता है, प्रत्येक एक ऑर्थोगोनल रैखिक उप-स्थान के अनुरूप होता है, और एम्बेडिंग मैट्रिक्स की प्रभावी रैंक चरणबद्ध रूप से बढ़ती है। सीखी गई विशेषताएं सह-घटना संभावनाओं द्वारा परिभाषित एक मैट्रिक्स M* के शीर्ष आइजनवेक्टर (eigenvectors) हैं। यह सिद्धांत संख्यात्मक प्रयोगों से अच्छी तरह मेल खाता है: वर्ड2वेक एनालॉजी बेंचमार्क पर 68% हासिल करता है, अनुमानित मॉडल 66% प्राप्त करता है, जबकि क्लासिकल पॉजिटिव पॉइंटवाइज म्यूचुअल इन्फॉर्मेशन (PPMI) विधि के लिए यह 51% है। यह कार्य लिंग या काल जैसी अमूर्त अवधारणाओं के लिए रैखिक निरूपण के उद्भव की भी व्याख्या करता है।
स्रोत: BAIR (Berkeley AI) —
मूल