Sechs Jahre Entwicklung eines Telegram-Bots: vom Tokenizer zu LLM, RAG und Vektordatenbanken

Der Autor entwickelte Io, einen auf LLM basierenden Telegram-Bot, der in der Lage ist, auf Nachrichten zu antworten, Bilder und Sprachnachrichten zu erkennen und den Kontext beizubehalten. Die erste Version im Jahr 2020 verwendete einen benutzerdefinierten Tokenizer mit Stemming für Russisch, integrierte Wetterdaten von OpenWeather, Stadt-Erkennung über DaData sowie Übersetzung und Spracherkennung über Yandex-Dienste. Im Jahr 2023 experimentierte der Autor mit GPT-3.5 Turbo, schrieb den Bot jedoch später neu, um GPT-4o mini mit Tool-Calling zu verwenden, und verwarf den Tokenizer. Im Jahr 2025 wurde zunächst Speicher mit JSON-Metadaten implementiert, dann auf einen vektorbasierten Ansatz mit Qdrant umgestellt und schließlich auf pgvector mit PostgreSQL migriert. Der Bot verwendet Gemini 3.6 Flash als primäres Modell und Nex-N2-mini für Faktenextraktion und Zusammenfassung. Weitere Funktionen umfassen einen Gastmodus, Wikipedia-Suche und explizite Speicherbefehle. Die Monetarisierung wurde mit Tageslimits und Abonnements eingeführt. Die Infrastruktur entwickelte sich von Docker Compose über Coolify zu k3s, mit GitHub Actions für die Bereitstellung. Der Autor plant, das Monitoring zu verbessern, Fehler im Gastmodus zu beheben und Websuche zu implementieren.