الحفظ مقابل التعميم: ما الذي يمكن لنموذج لغوي بـ 2160 معلمة تحقيقه فعليًا

في الإصدار 1.1.0 من مشروع Tiny Language Model على Node.js، وبعد نقاش في مجتمع تعلم الآلة وتغذية راجعة من المهندسين على Hashnode، تمت إضافة دراسة للحدود بين التذكر والتعميم. مع بذرة ثابتة بقيمة 42، تم إجراء تقييم مجمّد لأربعة فحوصات: نمط مُدرَّب بدقة، رموز مألوفة بترتيب جديد، نمط مؤجَّل بالكامل، والحفاظ على 14 علاقة بعد الضبط الدقيق التكيفي. أظهرت النتائج أن على النمط المألوف بلغت أدنى احتمالية للرمز الصحيح 99.93%، وعلى إعادة ترتيب الرموز بلغت 81.69%، وعلى البنية غير المعروفة للسؤال بلغت 10.46% فقط، حيث أجابت النموذج بـ 'cat can fly' بدلاً من المتوقع 'cat cannot read'. تمت مهمة الحفاظ على العلاقات بالكامل (14 من 14، دقة 100%). تُظهر التجربة أن حدود قدرات النموذج تقع بين التذكر والنقل المحلي والتعميم الحقيقي: النموذج يعيد إنتاج ما تعلّمه جيدًا ويتعامل مع التغييرات الصغيرة، لكن البنية الجديدة تُفشل سلوكه. سبب القصور ليس فقط في عدد المعاملات، بل أيضًا في المجموعة الصغيرة المحدودة البنيات. يلاحظ المؤلف أن زيادة الخلايا العصبية أو الكتل دون بيانات أكثر تنوعًا سيحسّن التذكر فقط. هذا تشخيص تعليمي قابل للتكرار، وليس معيارًا شاملاً.