Sáu năm phát triển bot Telegram: từ bộ tách từ đến LLM, RAG và cơ sở dữ liệu vector

Tác giả đã phát triển Io, một bot Telegram dựa trên LLM có khả năng trả lời tin nhắn, nhận dạng hình ảnh và tin nhắn thoại, đồng thời duy trì ngữ cảnh. Phiên bản đầu tiên vào năm 2020 sử dụng tokenizer tùy chỉnh với stemming cho tiếng Nga, tích hợp thời tiết từ OpenWeather, phát hiện thành phố qua DaData, và dịch thuật cùng nhận dạng giọng nói qua các dịch vụ Yandex. Năm 2023, tác giả đã thử nghiệm với GPT-3.5 Turbo nhưng sau đó viết lại bot để sử dụng GPT-4o mini với tool calling, loại bỏ tokenizer. Năm 2025, bộ nhớ lần đầu tiên được triển khai bằng metadata JSON, sau đó chuyển sang phương pháp dựa trên vector với Qdrant, và cuối cùng chuyển sang pgvector trên PostgreSQL. Bot sử dụng Gemini 3.6 Flash làm mô hình chính và Nex-N2-mini để trích xuất sự kiện và tóm tắt. Các tính năng bổ sung bao gồm chế độ khách, tìm kiếm Wikipedia và các lệnh bộ nhớ rõ ràng. Việc kiếm tiền được giới thiệu với giới hạn hàng ngày và đăng ký. Cơ sở hạ tầng đã phát triển từ Docker Compose đến Coolify và sau đó là k3s, với GitHub Actions để triển khai. Tác giả có kế hoạch cải thiện giám sát, sửa lỗi chế độ khách và triển khai tìm kiếm web.