معمارية PDD تكسر حاجز الاستدلال غير المتجانس عبر المجموعات: تقليل زمن الاستجابة للرمز الأول بنسبة 51.5% وخفض التكلفة بنسبة 37.5%
كشفت InfiniteG (Infinigence) عن معمارية PDD، وهي معمارية استدلال غير متجانسة عبر المجموعات من ثلاث طبقات تقلل زمن الاستجابة للرمز الأول بنسبة 51.5% وتكلفة الرمز الواحد بنسبة 37.5%. من خلال إدراج مثيل محلي لـ RelayDecode (RLD) لإخفاء تأخيرات نقل ذاكرة التخزين المؤقت لـ KV عبر شبكة WAN، تتيح PDD الاستخدام الفعال للمجموعات المتجانسة الموزعة لاستدلال نماذج اللغة الكبيرة.
Infinigence
QbitAI 量子位30.07 · 11:02