Kuusi vuotta Telegram-botin kehitystä: tokenisaattorista LLM:ään, RAG:iin ja vektoritietokantoihin

Kirjoittaja kehitti Ion, LLM-pohjaisen Telegram-botin, joka pystyy vastaamaan viesteihin, tunnistamaan kuvia ja ääniviestejä sekä säilyttämään kontekstin. Ensimmäinen versio vuonna 2020 käytti räätälöityä tokenisoijaa venäjän kielen stemmauksella, ja se integroi säätiedot OpenWeatherista, kaupungintunnistuksen DaDatan kautta sekä käännös- ja äänentunnistuspalvelut Yandexin palveluista. Vuonna 2023 kirjoittaja kokeili GPT-3.5 Turbota, mutta kirjoitti myöhemmin botin uudelleen käyttämään GPT-4o miniä työkalujen kutsumisen kanssa ja hylkäsi tokenisoijan. Vuonna 2025 muisti toteutettiin ensin JSON-metatietojen avulla, sitten siirryttiin vektoripohjaiseen ratkaisuun Qdrantin kanssa ja lopulta pgvectoriin PostgreSQL:ssä. Botti käyttää ensisijaisena mallina Gemini 3.6 Flashia ja Nex-N2-minia faktojen poimintaan ja tiivistämiseen. Lisäominaisuuksiin kuuluvat vierastila, Wikipedia-haku ja erilliset muistikomennot. Kaupallistaminen otettiin käyttöön päivittäisillä rajoituksilla ja tilauksilla. Infrastruktuuri kehittyi Docker Composesta Coolifyyn ja sitten k3s:ään, ja GitHub Actions hoitaa käyttöönoton. Kirjoittaja suunnittelee parantavansa valvontaa, korjaavansa vierastilan bugeja ja toteuttavansa verkkohaun.