क्लॉड कोड के बिना पर्सनल विकी बनाना: एक मैप-रिड्यूस-आधारित पाइपलाइन

आंद्रेज कार्पैथी के LLM-जनित विकी के विचार से प्रेरित होकर, लेखक (एक Habr उपयोगकर्ता) व्यक्तिगत विकी बनाने के लिए Claude Code के विकल्पों की खोज करता है। तीन रणनीतियों का परीक्षण किया गया: संदर्भ मेमोरी के साथ अनुक्रमिक निष्कर्षण, एक अलग एकीकरण एजेंट के साथ बैच निष्कर्षण, और MapReduce दृष्टिकोण। पहली विफल रही क्योंकि कमजोर मॉडल तत्वों को खो देते थे जब संख्या दस से अधिक हो जाती थी। दूसरी विफल रही क्योंकि खराब एकीकरण ने असंबंधित वस्तुओं को मिला दिया। तीसरी, MapReduce, सफल रही: प्रत्येक स्रोत को एनोटेट किया जाता है और प्रमुख शब्द निकाले जाते हैं, फिर शब्दों को उलट दिया जाता है ताकि प्रत्येक शब्द अपने स्रोतों से मैप हो सके। एक LLM जज महत्व के आधार पर शब्दों को फ़िल्टर करता है; महत्वपूर्ण शब्दों के लिए, सारांश, गुण और संबंधित तत्वों के लिंक के साथ एक विकी तत्व बनाया जाता है। पाइपलाइन एक प्रॉक्सी प्रदाता से gpt-5-mini और स्थानीय Ollama से gemma4:26b का उपयोग करती है। gpt-5-mini महत्व को अधिक आंकने की प्रवृत्ति रखता है और कभी-कभी अपने आप शब्द जोड़ देता है, लेकिन एक लिंकर इसे पकड़ लेता है; gemma4:26b अधिक सख्त है लेकिन संरचित आउटपुट के साथ संघर्ष करता है, जिसके लिए कोड में विभाजन की आवश्यकता होती है। लागत: Claude Code की लागत $3-4 प्रति 100KB स्रोत पाठ है, gpt-5-mini की लागत $1.1-1.3 है, जबकि gemma4:26b केवल बिजली की लागत लेता है लेकिन धीमा है (12 टोकन/सेकंड, पाइपलाइन के लिए पूरा दिन लगता है)। कार्यान्वयन, Wiki-assembler, एक पायथन पाइपलाइन है जिसमें पाँच या छह सरल LangChain एजेंट और दो हार्डकोडेड ब्लॉक हैं, जो Gemma के अनंत तर्क के कारण ReAct से बचते हैं। पाइपलाइन चरणों में एनोटेशन और वर्गीकरण, LLM जज के माध्यम से प्रमुख शब्दों को फ़िल्टर करना, विकी तत्वों का निर्माण और उन्हें लिंक करना शामिल है।