Внутри нейронного движка Apple в M4, часть 1: реверс-инжиниринг
Исследователи провели реверс-инжиниринг нейронного движка Apple (ANE) в чипе M4, обойдя Core ML, чтобы напрямую компилировать и запускать программы нейронных сетей. Они обнаружили, что реальная пиковая производительность ANE ниже заявленных Apple 38 TOPS, и успешно обучили модель на чипе, который предназначен только для инференса.
В статье подробно описывается, как авторы провели реверс-инжиниринг Apple Neural Engine (ANE, нейронный движок Apple) в чипе M4, обойдя Core ML и обратившись к аппаратной части напрямую. Они изучили весь программный стек — от Core ML до драйвера ядра IOKit, выяснили, как компилировать и запускать программы на ANE без использования Core ML, и раскрыли структуру бинарного формата. Авторы измерили
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал