Six ans de développement d'un bot Telegram : du tokenizer aux LLM, RAG et bases de données vectorielles

L'auteur a développé Io, un bot Telegram basé sur LLM capable de répondre aux messages, de reconnaître les images et les messages vocaux, et de maintenir le contexte. La première version en 2020 utilisait un tokenizer personnalisé avec racinisation pour le russe, intégrant la météo d'OpenWeather, la détection de ville via DaData, ainsi que la traduction et la reconnaissance vocale via les services Yandex. En 2023, l'auteur a expérimenté GPT-3.5 Turbo mais a ensuite réécrit le bot pour utiliser GPT-4o mini avec appel d'outils, abandonnant le tokenizer. En 2025, la mémoire a d'abord été implémentée en utilisant des métadonnées JSON, puis est passée à une approche vectorielle avec Qdrant, pour finalement migrer vers pgvector sur PostgreSQL. Le bot utilise Gemini 3.6 Flash comme modèle principal et Nex-N2-mini pour l'extraction de faits et le résumé. Des fonctionnalités supplémentaires incluent le mode invité, la recherche Wikipédia et des commandes de mémoire explicites. La monétisation a été introduite avec des limites quotidiennes et des abonnements. L'infrastructure a évolué de Docker Compose à Coolify puis à k3s, avec GitHub Actions pour le déploiement. L'auteur prévoit d'améliorer la surveillance, de corriger les bugs du mode invité et d'implémenter la recherche web.