Kimi K3 कैसे काम करता है: 2.8 ट्रिलियन पैरामीटर, लीनियर अटेंशन और मिलियन-टोकन एजेंट
Moonshot AI ने अपने Kimi K3 मॉडल के वेट जारी किए हैं, जो एक मल्टीमॉडल मॉडल है जो मिक्सचर ऑफ एक्सपर्ट्स आर्किटेक्चर पर आधारित है जिसमें 2.8 ट्रिलियन पैरामीटर हैं, जिनमें से 104 बिलियन प्रति टोकन सक्रिय होते हैं। कुछ प्रोग्रामिंग और टूल-उपयोग बेंचमार्क में, यह मॉडल प्रतिस्पर्धियों से बेहतर प्रदर्शन करता है, लेकिन औसतन यह उनमें से कुछ से पीछे है।
Moonshot AI
Anthropic
OpenAI
Habr — хаб ИИ27.07 · 23:03
