3 بتات بدلاً من 16: تفصيل TurboQuant ومتى يجب تفعيله فعليًا

في مارس 2026، نشرت جوجل منشورًا حول TurboQuant، وهي خوارزمية ضغط الذاكرة للنماذج اللغوية، مما تسبب في حالة من الذعر في السوق حيث خسرت أسهم مصنعي الذاكرة ما يقرب من 90 مليار دولار من القيمة السوقية المجمعة خلال أسبوع. تعالج الخوارزمية مشكلة ذاكرة التخزين المؤقت KV: فعندما تولد النماذج اللغوية الكبيرة النصوص، تخزن الحسابات الوسيطة لجميع الرموز السابقة، والتي تنمو خطيًا مع طول السياق ويمكن أن تستهلك عشرات الجيجابايتات. على سبيل المثال، تشغل ذاكرة التخزين المؤقت KV لنموذج Llama 3.1 70B مع سياق يبلغ 128 ألف رمز حوالي 40 جيجابايت بتنسيق BF16، مما يجعل من المستحيل احتواؤها على وحدة معالجة رسومية واحدة من نوع H100. تقوم TurboQuant بضغط ذاكرة التخزين المؤقت KV بمقدار 5 إلى 6 مرات من خلال تطبيق دوران عشوائي على المتجهات قبل التكميم، يليه مُكمِّم لويد-ماكس الأمثل، وكل ذلك دون معايرة أو ضبط دقيق. يعمل هذا الأسلوب المستقل عن البيانات على أي نموذج محول. تدعي جوجل "تسريعًا يصل إلى 8 أضعاف على وحدات معالجة الرسوميات H100"، لكن تحليلات المجتمع تظهر أن هذا يُقاس مقابل FP32؛ التسريع الحقيقي يبلغ حوالي 4 أضعاف للانتباه فقط، وتوفير الذاكرة هو الفائدة الحقيقية. تظهر المعايير على النماذج الصغيرة (حتى 8 مليارات معامل) عدم وجود فقدان في الدقة على LongBench و Needle-in-a-Haystack، ولكن لا توجد بيانات للنماذج التي تتجاوز 70 مليار معامل، وتظهر اختبارات المجتمع على نموذج 104 مليار معامل زيادة بنسبة 3.6٪ فقط في الالتباس. توفر المقارنات مع البدائل مثل KVTC (ضغط يصل إلى 20 ضعفًا لكنه يتطلب معايرة) و RotorQuant (دوران أسرع لكن جودة أقل) و KIVI (ضغط 16 ضعفًا، مدمج في مكتبة Hugging Face) صورة شاملة. يتم تخفيف عدم وجود كود رسمي من خلال أكثر من 15 تطبيقًا مجتمعيًا.