텔레그램 봇 개발 6년의 기록: 토크나이저에서 LLM, RAG, 벡터 데이터베이스까지

저자는 메시지에 응답하고, 이미지와 음성 메시지를 인식하며, 맥락을 유지할 수 있는 LLM 기반 텔레그램 봇인 Io를 개발했습니다. 2020년 첫 번째 버전은 러시아어 형태소 분석을 위한 맞춤형 토크나이저를 사용했으며, OpenWeather의 날씨 통합, DaData를 통한 도시 감지, Yandex 서비스를 통한 번역 및 음성 인식을 포함했습니다. 2023년에 저자는 GPT-3.5 Turbo를 실험했지만, 나중에 봇을 도구 호출을 지원하는 GPT-4o mini를 사용하도록 재작성하고 토크나이저를 폐기했습니다. 2025년에는 처음에 JSON 메타데이터를 사용하여 메모리를 구현했고, 그다음 Qdrant를 사용한 벡터 기반 방식으로 전환했으며, 마지막으로 PostgreSQL의 pgvector로 옮겼습니다. 봇은 기본 모델로 Gemini 3.6 Flash를 사용하고, 사실 추출 및 요약에는 Nex-N2-mini를 사용합니다. 추가 기능으로 게스트 모드, 위키백과 검색, 명시적 메모리 명령이 있습니다. 일일 한도와 구독을 도입하여 수익화를 시작했습니다. 인프라는 Docker Compose에서 Coolify로, 그다음 k3s로 발전했으며, 배포에는 GitHub Actions를 사용합니다. 저자는 모니터링 개선, 게스트 모드 버그 수정, 웹 검색 구현을 계획하고 있습니다.