Telegramボット開発の6年間：トークナイザーからLLM、RAG、ベクターデータベースへ

著者は、メッセージへの応答、画像や音声メッセージの認識、コンテキストの維持が可能な、LLMベースのTelegramボットであるIoを開発した。2020年の最初のバージョンでは、ロシア語のステミングを備えたカスタムトークナイザーを使用し、OpenWeatherによる天気、DaDataによる都市検出、Yandexサービスによる翻訳と音声認識を統合していた。2023年にはGPT-3.5 Turboを試したが、後にボットを書き直して、トークナイザーを廃止し、ツール呼び出しを備えたGPT-4o miniを使用するようにした。2025年には、まずJSONメタデータを使用してメモリを実装し、その後Qdrantを用いたベクトルベースのアプローチに切り替え、最終的にPostgreSQL上のpgvectorに移行した。ボットは主要モデルとしてGemini 3.6 Flashを使用し、事実抽出と要約にはNex-N2-miniを使用している。追加機能には、ゲストモード、Wikipedia検索、明示的なメモリコマンドが含まれる。収益化は、1日あたりの制限とサブスクリプションで導入された。インフラストラクチャは、Docker ComposeからCoolify、そしてk3sへと進化し、デプロイにはGitHub Actionsを使用している。著者は、監視の改善、ゲストモードのバグ修正、ウェブ検索の実装を計画している。