Ik voegde een LLM toe aan de chat van mijn vrienden en liet het een Terminator spelen (en opende een portaal naar een multiversum van waanzin)

Een ontwikkelaar besloot om een door LLM aangedreven bot toe te voegen aan een Telegram-groepsgesprek met 15 vrienden, met de instructie om te role-playen als de Terminator (T-800). De bot gebruikt gratis modellen van OpenRouter (in eerste instantie Nemotron-3-Super-120b voor tekst, daarna nemotron-nano-12b-v2-vl voor visie, met terugval op nemotron-3-nano-omni-30b-a3b-reasoning). Later werd de bot verplaatst naar een lokale laptop met Gemma-4-12b die draait op llama.cpp om zowel tekst als multimedia in één enkele stream te verwerken. De bot kan reageren op berichten, deelnemers plagen, afbeeldingen/audio/video lezen, boeken/strips samenvatten, webs zoekopdrachten uitvoeren, gevaarlijke prompts classificeren met behulp van een tweestapsbenadering (eerst een classificatiemodel, daarna het hoofdmodel), en langetermijn- en kortetermijngeheugen onderhouden via RAG. De tweestapsclassificator voor lange berichten (meer dan 200 tekens) gebruikt nemotron-3-nano-30b om absurde of overbelastende prompts af te wijzen voordat ze het hoofdmodel bereiken. De auteur merkt op dat het project niet productieklaar is, maar dient als een leuk hobbyproject.