Я добавил LLM в чат с друзьями и заставил его играть Терминатора (и открыл портал в безумную мультивселенную)
Разработчик интегрировал бесплатную LLM через OpenRouter в групповой чат Telegram для 15 друзей, поручив боту роль Терминатора (T-800). Бот может отвечать на сообщения, подтрунивать над участниками на основе контекста, читать изображения/аудио/видео, классифицировать опасные промпты и имеет память на основе RAG. Позже проект был перенесён на локальный ноутбук с использованием Gemma-4-12b и llama.cpp для лучшей производительности.
Разработчик решил добавить в групповой чат в Telegram с 15 друзьями бота на основе LLM, поручив ему роль Терминатора (T-800). Бот использует бесплатные модели с OpenRouter (изначально Nemotron-3-Super-120b для текста, затем nemotron-nano-12b-v2-vl для зрения, с фолбэком на nemotron-3-nano-omni-30b-a3b-reasoning). Позже бота перенесли на локальный ноутбук с Gemma-4-12b, работающей на llama.cpp для
Показать ещё ↓
Источник: Habr — хаб NLP —
оригинал