J'ai ajouté un LLM au chat de mes amis et lui ai fait jouer un Terminator (et ouvert un portail vers un multivers de folie)

Un développeur a décidé d'ajouter un bot propulsé par un modèle de langage à un groupe Telegram de 15 amis, en lui demandant de jouer le rôle du Terminator (T-800). Le bot utilise des modèles gratuits d'OpenRouter (initialement Nemotron-3-Super-120b pour le texte, puis nemotron-nano-12b-v2-vl pour la vision, avec repli sur nemotron-3-nano-omni-30b-a3b-reasoning). Plus tard, le bot a été déplacé sur un ordinateur portable local avec Gemma-4-12b fonctionnant sur llama.cpp pour gérer à la fois le texte et le multimédia dans un seul flux. Le bot peut répondre aux messages, taquiner les participants, lire des images/audio/vidéo, résumer des livres/BD, effectuer des recherches web, classer les invites dangereuses en utilisant une approche en deux passages (d'abord un modèle de classification, puis le modèle principal) et maintenir une mémoire à long terme et à court terme via RAG. Le classifieur en deux passages pour les messages longs (plus de 200 caractères) utilise nemotron-3-nano-30b pour rejeter les invites absurdes ou surchargeantes avant qu'elles n'atteignent le modèle principal. L'auteur note que le projet n'est pas prêt pour la production, mais sert de projet de loisir amusant.