Mitä word2vec todella oppii? Tutkijat ovat viimein kehittäneet tarkan oppimisteorian
Berkeley Artificial Intelligence Research (BAIR)
Berkeleyn tekoälytutkimuskeskuksen (BAIR) tutkijat ovat kehittäneet ensimmäisen kvantitatiivisen ja ennustavan teorian word2vecin oppimisprosessista. He osoittavat, että realistisissa olosuhteissa harjoittelu pelkistyy painottamattomaksi pienimmän neliösumman matriisin hajotelmaksi, jossa lopulliset upotukset saadaan tietyn korpusstatistiikasta johdetun matriisin pääkomponenttianalyysin (PCA) avulla.
Uudessa artikkelissa BAIRin tutkijat esittävät ensimmäisen suljetun muodon teorian word2vecin oppimisdynamiikalle. He osoittavat, että kun upotukset alustetaan lähelle nollaa, malli oppii käsitteitä yksi kerrallaan, joista jokainen vastaa ortogonaalista lineaarialiavaruutta, ja upotusmatriisin efektiivinen aste kasvaa askelittain. Opitut piirteet ovat matriisin M* suurimmat ominaisvektorit, joka määritellään rinnakkaisesiintymistodennäköisyyksien avulla. Teoria sopii hyvin yhteen numeeristen kokeiden kanssa: word2vec saavuttaa 68 prosentin tuloksen analogiatehtävissä, approksimoiva malli 66 prosenttia, kun taas klassinen PPMI-menetelmä jää 51 prosenttiin. Työ selittää myös lineaaristen esitystapojen ilmaantumisen abstrakteille käsitteille, kuten sukupuolelle tai aikamuodolle.
Lähde: BAIR (Berkeley AI) —
Alkuperäinen