شركة ثينكينغ ماشينز تطلق نموذج إنكلينغ متعدد الوسائط مفتوح المصدر بـ 1 تريليون معامل

أطلقت شركة ثينكينغ ماشينز نموذج إنكلينغ، وهو نموذج لغوي كبير متعدد الوسائط مفتوح المصدر يبلغ إجمالي معاملاته حوالي 1 تريليون معامل و 41 مليار معامل نشط، ويدعم إدخالات النص والصورة والصوت مع نافذة سياقية تبلغ 1 مليون رمز. النموذج متاح على منصة هاغينغ فيس بإصدارات BF16 و NVFP4، مع دعم فوري في مكتبات transformers و SGLang و vLLM و llama.cpp.

قامت شركة Thinking Machines بنشر نموذج Inkling مفتوح المصدر، وهو نموذج مختلط كبير متعدد الوسائط من الخبراء، يضم ما يقرب من تريليون معامل إجمالي و41 مليار معامل نشط. وهو أول نموذج مفتوح كبير يقبل المدخلات النصية والصورية والصوتية بشكل أصلي مع نافذة سياقية تبلغ 1 مليون. تتضمن البنية انتباهًا نسبيًا بدلاً من التضمين الموضعي الدوراني (RoPE)، وانتباهًا هجينًا بنسبة 5:1 بين الانزلاقي والعالمي، وطبقات التفاف قصيرة أحادية البعد (1D convolution)، وخبراء مختلطين مع خبراء مشتركين. بالنسبة للرؤية، يستخدم مُجزئًا هرميًا يعتمد على الإدراك متعدد الطبقات (MLP patchifier)، وبالنسبة للصوت، يستخدم طيفًا ميلًا منفصلاً. يتوفر Inkling بصيغة BF16 الكاملة (يتطلب 2 تيرابايت من ذاكرة الفيديو VRAM) ونوع NVFP4 مكممًا (يتطلب 600 غيغابايت من ذاكرة الفيديو VRAM). يدعم الاستدلال عبر خط أنابيب المحولات، وAutoModelForMultimodalLM، وSGLang، وvLLM، وllama.cpp، ويمكن الوصول إليه من خلال مزودي الاستدلال في Hugging Face.

المصدر: Hugging Face blog — الأصلي