मैंने अपने दोस्तों के चैट में एक LLM जोड़ा और उसे Terminator का रोल निभाने दिया (और पागलपन के मल्टीवर्स का एक पोर्टल खोल दिया)
NVIDIA
Google/DeepMind
OpenRouter
एक डेवलपर ने OpenRouter के माध्यम से एक निःशुल्क LLM को 15 दोस्तों के टेलीग्राम ग्रुप चैट में एकीकृत किया, और बॉट को Terminator (T-800) की भूमिका निभाने का निर्देश दिया। बॉट संदेशों का उत्तर दे सकता है, संदर्भ के आधार पर प्रतिभागियों को चिढ़ा सकता है, चित्र/ऑडियो/वीडियो पढ़ सकता है, खतरनाक प्रॉम्प्ट को वर्गीकृत कर सकता है, और RAG-आधारित मेमोरी रखता है। परियोजना को बाद में बेहतर प्रदर्शन के लिए Gemma-4-12b और llama.cpp का उपयोग करके स्थानीय लैपटॉप पर स्थानांतरित कर दिया गया।
एक डेवलपर ने 15 दोस्तों के साथ एक टेलीग्राम ग्रुप चैट में एलएलएम-संचालित बॉट जोड़ने का फैसला किया, जिसे टर्मिनेटर (T-800) की भूमिका निभाने का निर्देश दिया गया। बॉट शुरू में टेक्स्ट के लिए OpenRouter के मुफ्त मॉडल (पहले Nemotron-3-Super-120b, फिर विजन के लिए nemotron-nano-12b-v2-vl, और फिर nemotron-3-nano-omni-30b-a3b-reasoning पर फॉलबैक) का उपयोग करता है। बाद में, बॉट को स्थानीय लैपटॉप पर ले जाया गया, जहां llama.cpp पर चलने वाले Gemma-4-12b का उपयोग टेक्स्ट और मल्टीमीडिया दोनों को एक ही स्ट्रीम में संभालने के लिए किया गया। बॉट संदेशों का जवाब दे सकता है, प्रतिभागियों को चिढ़ा सकता है, छवियों/ऑडियो/वीडियो पढ़ सकता है, किताबों/कॉमिक्स का सारांश बना सकता है, वेब खोज कर सकता है, दो-चरणीय दृष्टिकोण (पहले क्लासिफायर मॉडल, फिर मुख्य मॉडल) का उपयोग करके खतरनाक प्रॉम्प्ट को वर्गीकृत कर सकता है, और RAG के माध्यम से दीर्घकालिक और अल्पकालिक स्मृति बनाए रख सकता है। लंबे संदेशों (200 वर्णों से अधिक) पर दो-चरणीय क्लासिफायर मुख्य मॉडल तक पहुंचने से पहले बेतुके या अधिभार वाले प्रॉम्प्ट को अस्वीकार करने के लिए nemotron-3-nano-30b का उपयोग करता है। लेखक ने नोट किया कि यह प्रोजेक्ट प्रोडक्शन-रेडी नहीं है, लेकिन एक मजेदार शौक प्रोजेक्ट के रूप में कार्य करता है।
स्रोत: Habr — хаб NLP —
मूल