ИИ-модели могут работать на чем угодно: энтузиаст запустил LLM на микроконтроллере за $10
Энтузиаст под псевдонимом SlvDev успешно запустил большую языковую модель локально на микроконтроллере ESP32-S3, который стоит всего $10, достигнув производительности около 10 токенов в секунду. Проект включал квантование и использование послойного эмбеддинга для размещения модели в ограниченной памяти устройства.
К 2026 году большие языковые модели можно запускать локально на ноутбуках и даже смартфонах, но энтузиаст под псевдонимом SlvDev пошел дальше, запустив небольшую языковую модель на микроконтроллере ESP32-S3 стоимостью 10 долларов, добившись скорости обработки почти 10 токенов в секунду. ESP32-S3 имеет 520 КБ статической памяти с произвольным доступом (SRAM) и 8 МБ псевдостатической памяти (PSRAM)
Показать ещё ↓
Источник: 3DNews —
оригинал