Arkadaşlarımın sohbetine bir LLM ekledim ve onu Terminatör yaptım (ve bir delilik multiverse'üne açılan bir portal açtım)

Bir geliştirici, 15 arkadaşının bulunduğu bir Telegram grup sohbetine, Terminatör (T-800) rolü yapmasını talimat verdiği LLM destekli bir bot eklemeye karar verdi. Bot, OpenRouter'dan ücretsiz modeller kullanıyor (başlangıçta metin için Nemotron-3-Super-120b, ardından görüntü için nemotron-nano-12b-v2-vl ve nemotron-3-nano-omni-30b-a3b-reasoning'e geri dönüş ile). Daha sonra bot, metin ve multimedyayı tek bir akışta işlemek için llama.cpp üzerinde çalışan Gemma-4-12b ile yerel bir dizüstü bilgisayara taşındı. Bot, mesajlara yanıt verebilir, katılımcılarla dalga geçebilir, görüntüleri/sesi/videoyu okuyabilir, kitapları/çizgi romanları özetleyebilir, web aramaları yapabilir, iki geçişli bir yaklaşım kullanarak tehlikeli istemleri sınıflandırabilir (önce bir sınıflandırıcı modeli, ardından ana model) ve RAG aracılığıyla uzun vadeli ve kısa vadeli hafızayı koruyabilir. Uzun mesajlarda (200 karakterden fazla) iki geçişli sınıflandırıcı, ana modele ulaşmadan önce saçma veya aşırı yükleyici istemleri reddetmek için nemotron-3-nano-30b kullanır. Yazar, projenin üretime hazır olmadığını ancak eğlenceli bir hobi projesi olarak hizmet ettiğini belirtiyor.