Seis anos desenvolvendo um bot de Telegram: do tokenizador ao LLM, RAG e bancos de dados vetoriais

O autor desenvolveu o Io, um bot de Telegram baseado em LLM capaz de responder a mensagens, reconhecer imagens e mensagens de voz, e manter contexto. A primeira versão, em 2020, usava um tokenizador personalizado com stemming para o russo, integrando clima da OpenWeather, detecção de cidades via DaData, e tradução e reconhecimento de voz através dos serviços Yandex. Em 2023, o autor experimentou o GPT-3.5 Turbo, mas depois reescreveu o bot para usar o GPT-4o mini com chamada de ferramentas, descartando o tokenizador. Em 2025, a memória foi implementada pela primeira vez usando metadados JSON, depois mudou para uma abordagem baseada em vetores com Qdrant, e finalmente migrou para pgvector no PostgreSQL. O bot usa o Gemini 3.6 Flash como modelo principal e o Nex-N2-mini para extração de fatos e sumarização. Recursos adicionais incluem modo convidado, pesquisa na Wikipedia e comandos explícitos de memória. A monetização foi introduzida com limites diários e assinaturas. A infraestrutura evoluiu de Docker Compose para Coolify e depois para k3s, com GitHub Actions para implantação. O autor planeja melhorar o monitoramento, corrigir bugs do modo convidado e implementar pesquisa na web.