ذاكرة التخزين المؤقت للمفاتيح والقيم في النماذج اللغوية الكبيرة: الفهم والتنفيذ من الصفر

تقوم ذاكرة التخزين المؤقت KV بتخزين متجهات المفتاح (K) والقيمة (V) من حسابات الانتباه السابقة لإعادة استخدامها عند توليد الرموز اللاحقة، مما يسرع الاستدلال من خلال تجنب إعادة الحساب. بدون ذاكرة التخزين المؤقت KV، تقوم كل خطوة توليد بإعادة حساب المفاتيح والقيم لجميع الرموز السابقة؛ مع وجود ذاكرة التخزين المؤقت، يتم حساب متجهات الرمز الجديد فقط وإلحاقها بذاكرة التخزين المؤقت. تقدم المقالة تنفيذًا للكود يعتمد على نموذج شبيه بـ GPT من كتاب المؤلف. التغييرات الرئيسية هي: إضافة مخازن مؤقتة (cache_k و cache_v) في فئة MultiHeadAttention، تعديل طريقة forward لاستخدام ذاكرة التخزين المؤقت بشكل مشروط، إضافة طريقة إعادة تعيين، ونشر علامة use_cache عبر النموذج. في عملية التوليد، عندما يكون use_cache صحيحًا، يعالج النموذج الرمز الجديد فقط بعد المطالبة الأولية، بينما بدون ذاكرة تخزين مؤقت يعالج التسلسل الكامل في كل خطوة. تُظهر مقارنة أداء بسيطة أن ذاكرة التخزين المؤقت KV تضاعف تقريبًا سرعة التوليد للمثال المُختبَر.