टेलीग्राम बॉट विकसित करने के छह साल: टोकनाइज़र से LLM, RAG और वेक्टर डेटाबेस तक

लेखक ने Io विकसित किया, जो एक LLM-आधारित टेलीग्राम बॉट है जो संदेशों का जवाब देने, छवियों और वॉइस संदेशों को पहचानने और संदर्भ बनाए रखने में सक्षम है। 2020 के पहले संस्करण में रूसी के लिए स्टेमिंग के साथ एक कस्टम टोकनाइज़र का उपयोग किया गया था, जिसमें OpenWeather से मौसम, DaData के माध्यम से शहर का पता लगाना, और Yandex सेवाओं के माध्यम से अनुवाद और वॉइस पहचान को एकीकृत किया गया था। 2023 में, लेखक ने GPT-3.5 टर्बो के साथ प्रयोग किया, लेकिन बाद में बॉट को GPT-4o मिनी का उपयोग करने के लिए फिर से लिखा, जिसमें टूल कॉलिंग शामिल थी और टोकनाइज़र को हटा दिया। 2025 में, पहले JSON मेटाडेटा का उपयोग करके मेमोरी लागू की गई, फिर Qdrant के साथ वेक्टर-आधारित दृष्टिकोण पर स्विच किया गया, और अंत में PostgreSQL पर pgvector पर स्थानांतरित किया गया। बॉट प्राथमिक मॉडल के रूप में Gemini 3.6 फ्लैश का उपयोग करता है और तथ्य निष्कर्षण और सारांश के लिए Nex-N2-मिनी का उपयोग करता है। अतिरिक्त सुविधाओं में अतिथि मोड, विकिपीडिया खोज और स्पष्ट मेमोरी कमांड शामिल हैं। दैनिक सीमा और सदस्यता के साथ मुद्रीकरण की शुरुआत की गई। बुनियादी ढांचा डॉकर कंपोज़ से कूलिफाई और फिर k3s में विकसित हुआ, जिसमें परिनियोजन के लिए गिटहब एक्शन का उपयोग किया गया। लेखक निगरानी में सुधार, अतिथि मोड की बग ठीक करने और वेब खोज लागू करने की योजना बना रहा है।