Adicionei um LLM ao chat dos meus amigos e o fiz interpretar o Exterminador (e abri um portal para um multiverso de loucura)
NVIDIA
Google/DeepMind
OpenRouter
Um desenvolvedor integrou um LLM gratuito via OpenRouter a um grupo de Telegram com 15 amigos, instruindo o bot a interpretar o Exterminador (T-800). O bot pode responder mensagens, provocar participantes com base no contexto, ler imagens/áudio/vídeo, classificar prompts perigosos e possui memória baseada em RAG. O projeto foi posteriormente movido para um laptop local usando Gemma-4-12b e llama.cpp para melhor desempenho.
Um desenvolvedor decidiu adicionar um bot com tecnologia LLM a um grupo de chat no Telegram com 15 amigos, instruindo-o a interpretar o Exterminador (T-800). O bot usa modelos gratuitos do OpenRouter (inicialmente Nemotron-3-Super-120b para texto, depois nemotron-nano-12b-v2-vl para visão, com fallback para nemotron-3-nano-omni-30b-a3b-reasoning). Mais tarde, o bot foi movido para um laptop local com Gemma-4-12b rodando no llama.cpp para lidar com texto e multimídia em um único fluxo. O bot pode responder a mensagens, provocar participantes, ler imagens/áudio/vídeo, resumir livros/HQs, realizar buscas na web, classificar prompts perigosos usando uma abordagem de duas passagens (primeiro um modelo classificador, depois o modelo principal) e manter memória de longo e curto prazo via RAG. O classificador de duas passagens em mensagens longas (mais de 200 caracteres) usa nemotron-3-nano-30b para rejeitar prompts absurdos ou sobrecarregados antes que cheguem ao modelo principal. O autor observa que o projeto não está pronto para produção, mas serve como um projeto de estimação divertido.
Fonte: Habr — хаб NLP —
original
