친구 채팅방에 LLM을 추가해 터미네이터 역할을 시켰더니 (그리고 다중우주 혼돈의 포털이 열렸다)

한 개발자가 15명의 친구가 모여 있는 텔레그램(Telegram) 그룹 채팅에 대규모 언어 모델(LLM, Large Language Model) 기반 봇을 추가하기로 하고, 이 봇에게 터미네이터(T-800) 역할을 연기하도록 지시했다. 이 봇은 OpenRouter의 무료 모델들을 사용하는데, 처음에는 텍스트 처리를 위해 Nemotron-3-Super-120b를, 이후에는 비전 처리를 위해 nemotron-nano-12b-v2-vl을 사용했으며, 실패 시 대체 모델로 nemotron-3-nano-omni-30b-a3b-reasoning을 활용했다. 이후 봇은 로컬 노트북으로 옮겨져 llama.cpp 위에서 구동되는 Gemma-4-12b를 통해 텍스트와 멀티미디어를 하나의 스트림으로 함께 처리하도록 했다. 이 봇은 메시지에 답장하고, 참여자를 놀리며, 이미지·오디오·비디오를 읽고, 책이나 만화를 요약하며, 웹 검색을 수행할 수 있다. 또한 위험한 프롬프트를 두 단계 방식으로 분류하는데, 먼저 별도의 분류 모델이 이를 판별한 뒤 메인 모델이 처리하는 구조다. RAG(검색 증강 생성, Retrieval-Augmented Generation) 방식을 통해 장기 및 단기 기억도 유지한다. 200자를 넘는 긴 메시지에 대해서는 nemotron-3-nano-30b를 활용한 2단계 분류기가 터무니없거나 과부하를 유발할 수 있는 프롬프트를 메인 모델에 도달하기 전에 걸러낸다. 저자는 이 프로젝트가 프로덕션(production) 수준으로 완성된 것은 아니며, 그저 재미로 진행한 개인 프로젝트(pet project)일 뿐이라고 밝혔다.