Enam Tahun Mengembangkan Bot Telegram: dari Tokenizer hingga LLM, RAG, dan Basis Data Vektor

Penulis mengembangkan Io, sebuah bot Telegram berbasis LLM yang mampu membalas pesan, mengenali gambar dan pesan suara, serta mempertahankan konteks. Versi pertama pada tahun 2020 menggunakan tokenizer khusus dengan stemming untuk bahasa Rusia, mengintegrasikan cuaca dari OpenWeather, deteksi kota melalui DaData, serta penerjemahan dan pengenalan suara melalui layanan Yandex. Pada tahun 2023, penulis bereksperimen dengan GPT-3.5 Turbo tetapi kemudian menulis ulang bot tersebut untuk menggunakan GPT-4o mini dengan pemanggilan alat (tool calling), membuang tokenizer. Pada tahun 2025, memori pertama kali diimplementasikan menggunakan metadata JSON, kemudian beralih ke pendekatan berbasis vektor dengan Qdrant, dan akhirnya pindah ke pgvector di PostgreSQL. Bot ini menggunakan Gemini 3.6 Flash sebagai model utama dan Nex-N2-mini untuk ekstraksi fakta dan perangkuman. Fitur tambahan mencakup mode tamu, pencarian Wikipedia, dan perintah memori eksplisit. Monetisasi diperkenalkan dengan batas harian dan langganan. Infrastruktur berevolusi dari Docker Compose ke Coolify dan kemudian ke k3s, dengan GitHub Actions untuk penerapan (deployment). Penulis berencana untuk meningkatkan pemantauan, memperbaiki bug mode tamu, dan mengimplementasikan pencarian web.