Khám phá bên trong Neural Engine của Apple trên chip M4, Phần 1: Kỹ thuật đảo ngược

Bài viết mô tả chi tiết cách các tác giả thực hiện dịch ngược (reverse-engineer) Neural Engine (ANE) của Apple trên chip M4, bỏ qua Core ML để làm việc trực tiếp với phần cứng. Họ đã khám phá toàn bộ ngăn xếp phần mềm từ Core ML đến driver kernel IOKit, phát hiện cách biên dịch và thực thi các chương trình trên ANE mà không cần Core ML, cũng như làm rõ định dạng nhị phân được sử dụng. Họ đo hiệu năng đỉnh thực tế và phát hiện rằng con số '38 TOPS' mà Apple công bố là gây hiểu lầm. Cuối cùng, họ đã thành công huấn luyện một mạng nơ-ron trên chip này, dù ANE ban đầu chỉ được thiết kế cho việc suy luận (inference). ANE không phải là GPU hay CPU; đây là một bộ máy đồ thị tính toán (computational graph engine) thực thi một mạng nơ-ron đã được biên dịch dưới dạng một phép toán nguyên tử duy nhất. Họ sử dụng kỹ thuật method swizzling và phân tích nhị phân để phát hiện hơn 40 lớp riêng tư (private class) trong AppleNeuralEngine.framework, bao gồm _ANEClient, cho phép truy cập trực tiếp vào chuỗi xử lý biên dịch–tải–thực thi. Họ cũng phát hiện rằng ngôn ngữ MIL được dùng để mô tả các mô hình, và định dạng nhị phân E5 thực chất là một tệp FlatBuffers dùng để tham số hóa các nguyên hàm phần cứng cố định, thay vì lưu trữ mã máy truyền thống. Nhóm nghiên cứu cũng tìm ra cách biên dịch mô hình trực tiếp trong bộ nhớ bằng _ANEInMemoryModelDescriptor, mặc dù quá trình này vẫn ghi dữ liệu tạm vào một thư mục trung gian. ANE trên chip M4 có 16 lõi, độ sâu hàng đợi (queue depth) là 127, và cơ chế điều chỉnh điện áp – tần số động (dynamic voltage and frequency scaling, DVFS) hoạt động độc lập.