टैरो, विटरबी और LLM में क्या समानता है: एक एल्गोरिदम कैसे कई अर्थों में से एक चुनता है

Habr पर यह लेख यह पता लगाता है कि टैरो कार्ड की व्याख्या को कई उम्मीदवारों में से सर्वश्रेष्ठ सुसंगत अर्थ पथ के चयन के रूप में कैसे प्रतिरूपित किया जा सकता है, जो विटरबी और बीम खोज जैसे एल्गोरिदम के अनुरूप है। लेखक इस विचार से शुरू करता है कि एक कार्ड संदर्भ और मूल अर्थ से संभावित व्याख्याओं के एक सेट के लिए एक मैपिंग फ़ंक्शन के रूप में कार्य करता है, लेकिन तर्क देता है कि खोज की इकाई एक पूर्ण अर्थ पथ होनी चाहिए, न कि एक व्याख्या। पांच राज्यों (ठहराव, पुनर्विचार, संसाधन, क्रिया, संक्रमण) और तीन कार्डों (फांसी पर लटका आदमी, जादूगर, रथ) के साथ एक ठोस उदाहरण दिखाता है कि एक लालची दृष्टिकोण विटरबी के वैश्विक इष्टतम की तुलना में एक उप-इष्टतम पथ चुनता है। औपचारिक मॉडल एक सशर्त अमानवीय मार्कोव श्रृंखला है, जहां विटरबी डिकोडिंग O(n*S^2) समय में सटीक अधिकतम पथ ढूंढता है। हालांकि, जब स्कोर पूरे इतिहास या मुक्त पाठ पर निर्भर करता है, तो इष्टतम उपसंरचना खो जाती है, और बीम खोज एक अनुमानित विधि के रूप में उपयोग की जाती है, साथ ही विविध बीम खोज पर भी चर्चा की जाती है। लेख विटरबी, बीम खोज, विविध बीम, ए* (A-star), एमसीटीएस (MCTS), और एलएलएम (LLM) रीरैंकिंग की तुलना करता है, और फैक्टर ग्राफ और रैखिक-श्रृंखला सीआरएफ (CRF) का उल्लेख अधिक सामान्य सूत्रीकरण के रूप में करता है। यह यह भी नोट करता है कि वास्तविक अर्थ असतत राज्यों में फिट नहीं हो सकते हैं, इसलिए अर्थ एम्बेडिंग वैक्टर और एलएलएम रीरैंकिंग का उपयोग किया जा सकता है, और यह एआई-समर्थित टैरो अभ्यास पर अनुसंधान में चित्रण को बदलने के लिए दिशा सुझाता है।