Zes jaar ontwikkeling van een Telegram-bot: van tokenizer tot LLM, RAG en vectordatabases

De auteur ontwikkelde Io, een op LLM gebaseerde Telegram-bot die in staat is om berichten te beantwoorden, afbeeldingen en spraakberichten te herkennen en context te behouden. De eerste versie in 2020 gebruikte een aangepaste tokenizer met stamvorming voor het Russisch, integreerde weer via OpenWeather, stadsdetectie via DaData, en vertaling en spraakherkenning via Yandex-diensten. In 2023 experimenteerde de auteur met GPT-3.5 Turbo, maar herschreef de bot later om GPT-4o mini te gebruiken met tool calling, waarbij de tokenizer werd geschrapt. In 2025 werd voor het eerst geheugen geïmplementeerd met behulp van JSON-metadata, daarna overgeschakeld naar een vectorgebaseerde aanpak met Qdrant, en uiteindelijk overgegaan op pgvector op PostgreSQL. De bot gebruikt Gemini 3.6 Flash als primair model en Nex-N2-mini voor feitenextractie en samenvatting. Extra functies zijn onder andere gastmodus, Wikipedia-zoekopdracht en expliciete geheugenopdrachten. Er werd een verdienmodel geïntroduceerd met dagelijkse limieten en abonnementen. De infrastructuur evolueerde van Docker Compose naar Coolify en vervolgens naar k3s, met GitHub Actions voor implementatie. De auteur is van plan om de monitoring te verbeteren, bugs in de gastmodus op te lossen en webzoekopdrachten te implementeren.