Apple M4 Çipindeki Neural Engine İçine Bakış, Bölüm 1: Tersine Mühendislik
Apple
Araştırmacılar, M4 çipindeki Apple Neural Engine (ANE) bileşenini tersine mühendislikle inceleyerek Core ML'i atlayıp sinir ağı programlarını doğrudan derleyip çalıştırdılar. ANE'nin gerçek tepe performansının Apple'ın iddia ettiği 38 TOPS'tan daha düşük olduğunu keşfettiler ve ayrıca sadece çıkarım için tasarlanan çipte başarıyla bir model eğittiler.
Makale, yazarların M4 çipindeki Apple Neural Engine'i (ANE) tersine mühendislikle incelediklerini, Core ML'i atlayarak donanımla doğrudan çalıştıklarını ayrıntılı olarak anlatıyor. Core ML'den IOKit çekirdek sürücüsüne kadar tüm yazılım yığınını keşfettiler, Core ML olmadan ANE'de programları nasıl derleyip çalıştıracaklarını buldular ve ikili formatın şifresini çözdüler. Gerçek tepe performansını ölçtüler ve Apple'ın reklamını yaptığı '38 TOPS' ifadesinin yanıltıcı olduğunu tespit ettiler. Sonuçta, yalnızca çıkarım için tasarlanmış olan çip üzerinde bir sinir ağı eğitmeyi başardılar. ANE bir GPU veya CPU değildir; derlenmiş bir sinir ağını tek bir atomik işlem olarak yürüten bir hesaplama grafiği motorudur. AppleNeuralEngine.framework içindeki 40'tan fazla özel sınıfı ortaya çıkarmak için metod swizzling ve ikili analiz kullandılar; bu sınıflar arasında derleme-yükleme-çalıştırma ardışık düzenine doğrudan erişim sağlayan _ANEClient de bulunuyor. Ayrıca, modelleri tanımlamak için MIL dilinin kullanıldığını ve E5 ikili formatının, geleneksel makine kodu yerine sabit donanım ilkellerini parametreleyen bir FlatBuffers dosyası olduğunu keşfettiler. _ANEInMemoryModelDescriptor kullanarak modelleri bellekte derlemenin bir yolunu buldular, ancak bu yine de geçici bir dizine yazıyor. M4'teki ANE, 16 çekirdeğe, 127'lik bir kuyruk derinliğine ve bağımsız dinamik voltaj ve frekans ölçeklemeye (DVFS) sahiptir.
Kaynak: Habr — хаб ML —
orijinal