Ich habe meinen Freunden ein LLM in den Chat eingebaut und es einen Terminator spielen lassen (und ein Portal zu einem Multiversum des Wahnsinns geöffnet)
NVIDIA
Google/DeepMind
OpenRouter
Ein Entwickler hat über OpenRouter ein kostenloses LLM in einen Telegram-Gruppenchat mit 15 Freunden integriert und den Bot angewiesen, den Terminator (T-800) zu spielen. Der Bot kann Nachrichten beantworten, Teilnehmer basierend auf dem Kontext necken, Bilder/Audio/Video lesen, gefährliche Prompts klassifizieren und verfügt über ein RAG-basiertes Gedächtnis. Das Projekt wurde später auf einen lokalen Laptop mit Gemma-4-12b und llama.cpp migriert, um die Leistung zu verbessern.
Ein Entwickler entschied sich, einen LLM-gestützten Bot zu einer Telegram-Gruppe mit 15 Freunden hinzuzufügen und ihn anzuweisen, die Rolle des Terminators (T-800) zu spielen. Der Bot nutzt kostenlose Modelle von OpenRouter (anfänglich Nemotron-3-Super-120b für Text, dann nemotron-nano-12b-v2-vl für Bilderkennung, mit Fallback auf nemotron-3-nano-omni-30b-a3b-reasoning). Später wurde der Bot auf einen lokalen Laptop mit Gemma-4-12b, das auf llama.cpp läuft, umgestellt, um sowohl Text als auch Multimedia in einem einzigen Stream zu verarbeiten. Der Bot kann auf Nachrichten antworten, Teilnehmer necken, Bilder/Audio/Videos lesen, Bücher/Comics zusammenfassen, Websuchen durchführen, gefährliche Eingabeaufforderungen mithilfe eines Zwei-Pass-Ansatzes klassifizieren (zuerst ein Klassifikatormodell, dann das Hauptmodell) und über RAG sowohl Langzeit- als auch Kurzzeitgedächtnis aufrechterhalten. Der Zwei-Pass-Klassifikator für lange Nachrichten (über 200 Zeichen) verwendet nemotron-3-nano-30b, um absurde oder überlastende Eingabeaufforderungen abzulehnen, bevor sie das Hauptmodell erreichen. Der Autor merkt an, dass das Projekt nicht produktionsreif ist, aber als unterhaltsames Hobbyprojekt dient.
Quelle: Habr — хаб NLP —
Original