Di Dalam Apple Neural Engine pada M4, Bagian 1: Rekayasa Balik
Apple
Para peneliti melakukan rekayasa balik pada Apple Neural Engine (ANE) di chip M4, melewati Core ML untuk langsung mengompilasi dan menjalankan program jaringan saraf. Mereka menemukan bahwa kinerja puncak sebenarnya dari ANE lebih rendah dari klaim Apple sebesar 38 TOPS, dan berhasil melatih model pada chip yang dirancang hanya untuk inferensi.
Artikel ini merinci bagaimana para penulis melakukan rekayasa balik terhadap Neural Engine (ANE) milik Apple di chip M4, dengan melewati Core ML untuk bekerja langsung dengan perangkat keras tersebut. Mereka mengeksplorasi seluruh tumpukan perangkat lunak mulai dari Core ML hingga driver kernel IOKit, menemukan cara untuk mengompilasi dan mengeksekusi program pada ANE tanpa Core ML, serta mengungkap format biner yang digunakan. Mereka mengukur kinerja puncak aktual, dan menemukan bahwa klaim Apple sebesar '38 TOPS' tersebut menyesatkan. Pada akhirnya, mereka berhasil melatih jaringan saraf pada chip yang sebenarnya ditujukan hanya untuk inferensi. ANE bukanlah GPU atau CPU; ia merupakan mesin grafik komputasional yang mengeksekusi jaringan saraf yang telah dikompilasi sebagai satu operasi atomik. Mereka menggunakan metode swizzling dan analisis biner untuk mengungkap lebih dari 40 kelas privat dalam AppleNeuralEngine.framework, termasuk _ANEClient, yang memungkinkan akses langsung ke alur kompilasi-muat-eksekusi. Mereka juga menemukan bahwa bahasa MIL digunakan untuk mendeskripsikan model, dan format biner E5 adalah berkas FlatBuffers yang memparameterisasi primitif perangkat keras yang tetap, bukan menyimpan kode mesin tradisional. Mereka menemukan cara untuk mengompilasi model dalam memori menggunakan _ANEInMemoryModelDescriptor, meskipun masih menulis ke direktori sementara. ANE pada M4 memiliki 16 core, kedalaman antrean 127, dan penskalaan tegangan dan frekuensi dinamis (DVFS) yang independen.
Sumber: Habr — хаб ML —
asli