نماذج الذكاء الاصطناعي يمكن أن تعمل على أي شيء: متحمس يشغل نموذج لغة كبير على متحكم دقيق بتكلفة 10 دولارات

في عام 2026، يمكن تشغيل نماذج اللغة الكبيرة محليًا على أجهزة الكمبيوتر المحمولة وحتى الهواتف الذكية، لكن أحد المتحمسين الذي يستخدم اسمًا مستعارًا هو SlvDev ذهب إلى أبعد من ذلك من خلال تشغيل نموذج لغة صغير على متحكم دقيق ESP32-S3 بسعر 10 دولارات، محققًا سرعة معالجة تبلغ حوالي 10 رموز في الثانية. يتميز ESP32-S3 بذاكرة وصول عشوائي ساكنة (SRAM) تبلغ 520 كيلوبايت وذاكرة وصول عشوائي زائفة (PSRAM) تبلغ 8 ميجابايت، وهو مصمم للتحكم في أجهزة الاستشعار عن بُعد وأجهزة إنترنت الأشياء والمعدات الأخرى، ولكن تشغيل شيء مثل DeepSeek V4 Flash أمر مستحيل. بدلاً من ذلك، اختار SlvDev نموذج TinyStories، وهو نموذج طورته أبحاث مايكروسوفت (Microsoft Research) يحتوي على 28.9 مليون معلمة، وهو أصغر بحوالي 10000 مرة. حتى هذا النموذج تطلب في البداية حوالي 60 ميجابايت من المساحة بدقة 16 بت، وهو كبير جدًا بالنسبة إلى ESP32-S3. لذلك قام المؤلف بكمية النموذج، وضغط أوزانه من 16 بت إلى 8 بت، ثم إلى 4 بت، مما قلل حجم النموذج إلى 14.9 ميجابايت، الأمر الذي تطلب نسخة من المتحكم الدقيق بذاكرة وميضية (Flash) بسعة 16 ميجابايت. علاوة على ذلك، نفذ المتحمس آلية التضمين لكل طبقة (PLE) المستخدمة في بنية نماذج Google Gemma المفتوحة، مما سمح بنقل 25 مليون معلمة (12 ميجابايت) إلى الذاكرة الوميضية، التي يتم الوصول إليها بشكل غير متكرر نسبيًا، بينما تم وضع 2 ميجابايت فقط من البيانات في ذاكرة الوصول العشوائي للمتحكم. ونتيجة لذلك، تم وضع رؤوس الإدخال وذاكرة التخزين المؤقت للمفتاح والقيمة (KV) في PSRAM، وكانت ذاكرة SRAM بسعة 520 كيلوبايت كافية للتفعيل. حققت هذه الإجراءات توليدًا بمعدل 9.88 رمزًا في الثانية، وهو أسرع من قدرة الشخص العادي على القراءة. TinyStories هو عرض مفاهيمي رائع ولكنه يولد فقط قصصًا قصيرة، غير كافية حتى لروبوت الدردشة. يمكن لنموذج Barista ذي الحجم المماثل الإجابة على الأسئلة، ويولد الرموز بسرعة مضاعفة، ولكن فقط حول مواضيع متعلقة بالإسبريسو. كلا النموذجين صغيران جدًا لمهام أخرى، لكن حقيقة تشغيلهما على ESP32 أمر مثير للإعجاب.