एआई मॉडल किसी भी चीज़ पर चल सकते हैं: उत्साही ने $10 माइक्रोकंट्रोलर पर एलएलएम चलाया

2026 में, बड़े भाषा मॉडल लैपटॉप और यहां तक कि स्मार्टफोन पर भी स्थानीय रूप से चलाए जा सकते हैं, लेकिन स्लावदेव (SlvDev) के उपनाम से एक उत्साही व्यक्ति ने $10 की कीमत वाले ESP32-S3 माइक्रोकंट्रोलर पर एक छोटा भाषा मॉडल चलाकर और भी आगे जाने का काम किया, जिससे लगभग 10 टोकन प्रति सेकंड की प्रोसेसिंग गति हासिल की गई। ESP32-S3 में 520 KB SRAM और 8 MB स्यूडो-RAM (PSRAM) है, और इसे रिमोट सेंसर, IoT डिवाइस और अन्य उपकरणों को नियंत्रित करने के लिए डिज़ाइन किया गया है, लेकिन इस पर DeepSeek V4 Flash जैसा कुछ चलाना सवाल से बाहर है। इसके बजाय, स्लावदेव ने TinyStories को चुना, जो Microsoft Research द्वारा विकसित 28.9 मिलियन पैरामीटर वाला मॉडल है, जो लगभग 10,000 गुना अधिक कॉम्पैक्ट है। यहां तक कि इस मॉडल को शुरू में 16-बिट सटीकता पर लगभग 60 MB स्थान की आवश्यकता थी, जो ESP32-S3 के लिए बहुत बड़ा था। इसलिए लेखक ने मॉडल को क्वांटाइज़ किया, इसके वज़न को 16 बिट से 8 बिट और फिर 4 बिट तक संपीड़ित किया, जिससे मॉडल का आकार घटकर 14.9 MB हो गया, जिसके लिए 16 MB फ्लैश मेमोरी वाले माइक्रोकंट्रोलर के संस्करण की आवश्यकता थी। इसके अलावा, उत्साही व्यक्ति ने Google Gemma ओपन मॉडल के आर्किटेक्चर में उपयोग किए जाने वाले प्रति-परत एम्बेडिंग (PLE) तंत्र को लागू किया, जिससे 25 मिलियन पैरामीटर (12 MB) को फ्लैश मेमोरी में स्थानांतरित करना संभव हो गया, जिसे अपेक्षाकृत कम बार एक्सेस किया जाता है, जबकि नियंत्रक की RAM में केवल 2 MB डेटा रखा गया। परिणामस्वरूप, इनपुट हेडर और की-वैल्यू (KV) कैश को PSRAM में रखा गया, और 520 KB SRAM सक्रियण के लिए पर्याप्त था। इन उपायों से 9.88 टोकन प्रति सेकंड की उत्पादन गति प्राप्त हुई, जो एक औसत व्यक्ति की पढ़ने की गति से तेज़ है। TinyStories एक अच्छा अवधारणा प्रदर्शन है, लेकिन यह केवल छोटी कहानियां उत्पन्न करता है, जो चैटबॉट के लिए भी पर्याप्त नहीं है। समान आकार का बरिस्ता मॉडल सवालों के जवाब दे सकता है, टोकन दोगुनी गति से उत्पन्न करता है, लेकिन केवल एस्प्रेसो से संबंधित विषयों पर। दोनों मॉडल अन्य कार्यों के लिए बहुत छोटे हैं, लेकिन तथ्य यह है कि वे ESP32 पर चलते हैं, प्रभावशाली है।