Шесть лет разработки Telegram-бота: от токенизатора до LLM, RAG и векторных баз данных
Автор рассказывает историю создания Io — чат-бота для Telegram, который эволюционировал от примитивного бота на основе токенизатора до полноценной системы на базе больших языковых моделей (LLM) с использованием RAG и векторных баз данных. В статье рассматриваются проблемы реализации памяти, распознавания изображений и голоса, монетизации и эволюции инфраструктуры за шесть лет.
Автор разработал Io — Telegram-бота на основе LLM, способного отвечать на сообщения, распознавать изображения и голосовые сообщения, а также поддерживать контекст. Первая версия в 2020 году использовала собственный токенизатор со стеммингом для русского языка, интеграцию погоды от OpenWeather, определение города через DaData, а также перевод и распознавание речи через сервисы Яндекса. В 2023 году
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал