थिंकिंग मशीन्स ने 1 ट्रिलियन पैरामीटर वाला ओपन मल्टीमॉडल मॉडल इंकलिंग जारी किया

थिंकिंग मशीन्स ने इंकलिंग को ओपन-सोर्स किया है, जो लगभग 1 ट्रिलियन कुल पैरामीटर और 41 बिलियन सक्रिय पैरामीटर वाला एक बड़ा मल्टीमॉडल मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल है। यह पहला बड़ा ओपन मॉडल है जो मूल रूप से टेक्स्ट, इमेज और ऑडियो इनपुट को 1 मिलियन कॉन्टेक्स्ट विंडो के साथ स्वीकार करता है। आर्किटेक्चर में RoPE के बजाय रिलेटिव अटेंशन, 5:1 स्लाइडिंग-टू-ग्लोबल अनुपात के साथ हाइब्रिड अटेंशन, छोटी 1D कन्वोल्यूशन लेयर और शेयर्ड एक्सपर्ट्स के साथ मिक्सचर-ऑफ-एक्सपर्ट्स शामिल हैं। विज़न के लिए, यह एक हायरार्किकल MLP पैचिफायर का उपयोग करता है; ऑडियो के लिए, यह एक डिस्क्रीटाइज़्ड मेल स्पेक्ट्रोग्राम का उपयोग करता है। इंकलिंग पूर्ण BF16 (जिसके लिए 2 TB VRAM चाहिए) और एक क्वांटाइज़्ड NVFP4 वेरिएंट (जिसके लिए 600 GB VRAM चाहिए) में उपलब्ध है। यह ट्रांसफॉर्मर्स पाइपलाइन, AutoModelForMultimodalLM, SGLang, vLLM और llama.cpp के माध्यम से इन्फ्रेंस को सपोर्ट करता है, और इसे हगिंग फेस इन्फ्रेंस प्रोवाइडर्स के माध्यम से एक्सेस किया जा सकता है।