我把LLM加入了朋友的聊天群,让它扮演终结者(还打开了一扇通往疯狂多元宇宙的门)
NVIDIA
Google/DeepMind
OpenRouter
一位开发者通过OpenRouter将免费LLM集成到15位朋友的Telegram群聊中,指示机器人扮演终结者(T-800)。该机器人能回复消息、根据上下文调侃参与者、读取图片/音频/视频、对危险提示进行分类,并具备基于RAG的记忆功能。项目后来迁移到本地笔记本电脑上,使用Gemma-4-12b和llama.cpp以获得更好的性能。
一位开发者决定在一个有15位朋友的Telegram群聊中添加一个由LLM驱动的机器人,并指示它扮演终结者(T-800)的角色。该机器人使用OpenRouter上的免费模型(最初使用Nemotron-3-Super-120b处理文本,随后使用nemotron-nano-12b-v2-vl处理视觉,并回退到nemotron-3-nano-omni-30b-a3b-reasoning)。后来,该机器人被迁移到一台本地笔记本电脑上,使用llama.cpp运行Gemma-4-12b,以便在单个流中处理文本和多媒体。该机器人可以回复消息、调侃参与者、读取图像/音频/视频、总结书籍/漫画、执行网络搜索、使用两遍法(先使用分类器模型,再使用主模型)对危险提示进行分类,并通过RAG维护长期和短期记忆。对于超过200字符的长消息,两遍分类器使用nemotron-3-nano-30b在提示到达主模型之前拒绝荒谬或过载的提示。作者指出,该项目尚未达到生产就绪状态,但作为一个有趣的个人项目很有意义。
来源: Habr — хаб NLP —
原文
