Model AI Dapat Berjalan di Apa Saja: Penggiat Menjalankan LLM pada Mikrokontroler $10

Pada tahun 2026, model bahasa besar dapat dijalankan secara lokal di laptop dan bahkan ponsel pintar, tetapi seorang penggemar dengan nama samaran SlvDev melangkah lebih jauh dengan menjalankan model bahasa kecil pada mikrokontroler ESP32-S3 seharga $10, mencapai kecepatan pemrosesan hampir 10 token per detik. ESP32-S3 memiliki 520 KB SRAM dan 8 MB pseudo-SRAM (PSRAM), dan dirancang untuk mengendalikan sensor jarak jauh, perangkat Internet of Things (IoT), dan peralatan lainnya, tetapi menjalankan model seperti DeepSeek V4 Flash di luar kemampuan. Sebagai gantinya, SlvDev memilih TinyStories, model yang dikembangkan oleh Microsoft Research dengan 28,9 juta parameter, sekitar 10.000 kali lebih ringkas. Bahkan model ini awalnya membutuhkan sekitar 60 MB ruang pada presisi 16-bit, yang terlalu besar untuk ESP32-S3. Penulis kemudian melakukan kuantisasi pada model, mengompresi bobotnya dari 16 menjadi 8 bit, lalu menjadi 4 bit, mengurangi ukuran model menjadi 14,9 MB, yang membutuhkan versi mikrokontroler dengan memori flash 16 MB. Selanjutnya, penggemar tersebut menerapkan mekanisme embedding per lapisan (PLE) yang digunakan dalam arsitektur model terbuka Google Gemma, memungkinkan 25 juta parameter (12 MB) dipindahkan ke memori flash, yang diakses relatif jarang, sementara hanya 2 MB data ditempatkan di RAM pengontrol. Hasilnya, header input dan cache key-value (KV) ditempatkan di PSRAM, dan 520 KB SRAM cukup untuk aktivasi. Langkah-langkah ini mencapai generasi pada 9,88 token per detik, lebih cepat daripada rata-rata orang dapat membaca. TinyStories adalah demonstrasi konsep yang hebat tetapi hanya menghasilkan cerita pendek, tidak cukup untuk chatbot. Model Barista dengan ukuran serupa dapat menjawab pertanyaan, menghasilkan token dua kali lebih cepat, tetapi hanya pada topik terkait espresso. Kedua model terlalu kecil untuk tugas lain, tetapi fakta bahwa mereka berjalan di ESP32 sangat mengesankan.