Tôi đã thêm một LLM vào nhóm chat của bạn bè và biến nó thành Kẻ hủy diệt (và mở ra cánh cổng đến vũ trụ điên rồ)

Một nhà phát triển đã quyết định thêm một bot hỗ trợ LLM vào một nhóm chat Telegram với 15 người bạn, hướng dẫn nó nhập vai Kẻ hủy diệt (T-800). Bot sử dụng các mô hình miễn phí từ OpenRouter (ban đầu là Nemotron-3-Super-120b cho văn bản, sau đó là nemotron-nano-12b-v2-vl cho thị giác, với phương án dự phòng là nemotron-3-nano-omni-30b-a3b-reasoning). Sau đó, bot được chuyển sang một máy tính xách tay cục bộ chạy Gemma-4-12b trên llama.cpp để xử lý cả văn bản và đa phương tiện trong một luồng duy nhất. Bot có thể trả lời tin nhắn, trêu chọc người tham gia, đọc hình ảnh/âm thanh/video, tóm tắt sách/truyện tranh, thực hiện tìm kiếm trên web, phân loại các lời nhắc nguy hiểm bằng phương pháp hai bước (đầu tiên là mô hình phân loại, sau đó là mô hình chính) và duy trì trí nhớ dài hạn và ngắn hạn thông qua RAG (Truy xuất Tăng cường Sinh). Bộ phân loại hai bước trên các tin nhắn dài (trên 200 ký tự) sử dụng nemotron-3-nano-30b để loại bỏ các lời nhắc vô lý hoặc quá tải trước khi chúng đến mô hình chính. Tác giả lưu ý rằng dự án này chưa sẵn sàng cho sản xuất nhưng là một dự án thú vị mang tính cá nhân.