Lisäsin LLM:n ystävieni chattiin ja laitoin sen pelaamaan Terminaattoria (ja avasin portin hulluuden multiversumiin)
NVIDIA
Google/DeepMind
OpenRouter
Kehittäjä integroi ilmaisen LLM:n OpenRouterin kautta 15 ystävän Telegram-ryhmächattiin ja ohjeisti botin roolipelaamaan Terminaattoria (T-800). Bottia voi kysyä, se heittää letkautuksia osallistujille kontekstin perusteella, lukee kuvia/ääntä/videota, luokittelee vaaralliset kehotteet ja sillä on RAG-pohjainen muisti. Projekti siirrettiin myöhemmin paikalliselle kannettavalle tietokoneelle käyttäen Gemma-4-12b:tä ja llama.cpp:tä paremman suorituskyvyn saavuttamiseksi.
Eräs kehittäjä päätti lisätä LLM-pohjaisen botin Telegram-ryhmäkeskusteluun, jossa on 15 ystävää, ja määräsi sen esittämään Terminaattoria (T-800). Botti käyttää ilmaisia malleja OpenRouterista (aluksi Nemotron-3-Super-120b tekstiä varten, sitten nemotron-nano-12b-v2-vl näköä varten, varalla nemotron-3-nano-omni-30b-a3b-reasoning). Myöhemmin botti siirrettiin paikalliselle kannettavalle tietokoneelle, jossa Gemma-4-12b toimii llama.cpp:n avulla käsitellen sekä tekstiä että multimediaa yhdessä virrassa. Botti voi vastata viesteihin, heittäytyä leikkisäksi, lukea kuvia, ääntä ja videota, tiivistää kirjoja ja sarjakuvia, tehdä verkkohakuja, luokitella vaarallisia kehotteita käyttämällä kaksivaiheista lähestymistapaa (ensin luokittelumalli, sitten päämalli), sekä ylläpitää pitkäaikaista ja lyhytaikaista muistia RAG:n avulla. Kaksivaiheinen luokittelija käsittelee yli 200 merkin pituiset viestit käyttäen nemotron-3-nano-30b-mallia hylätäkseen järjettömät tai ylikuormittavat kehotteet ennen kuin ne pääsevät päämallille. Kirjoittaja huomauttaa, että projekti ei ole tuotantovalmis, mutta toimii hauskana harrasteprojektina.
Lähde: Habr — хаб NLP —
Alkuperäinen