Các Mô Hình AI Hoạt Động Vất Vả Hơn Cần Thiết? Mạng Nơ-ron Không Trọng Số Cung Cấp Giải Pháp Thay Thế Dựa Trên Tra Cứu

Giáo sư Lizy K. John của Đại học Texas tại Austin (University of Texas at Austin) cho rằng các mô hình AI hiện nay, vốn dựa nhiều vào các phép nhân, có thể đang thực hiện nhiều tính toán hơn mức cần thiết. Trong suốt năm năm qua, bà đã nghiên cứu các mạng nơ-ron không trọng số (weightless neural network) sử dụng các bảng tra cứu (lookup table) liên kết với nhau thay vì nhân đầu vào với trọng số, qua đó biến việc tính toán thành thao tác tra cứu các câu trả lời nhị phân đã được lưu sẵn. Trên các tác vụ như nhận diện hoạt động con người, theo dõi điện tâm đồ (ECG) và phát hiện từ khóa, các mạng do nhóm của bà phát triển đạt kích thước và mức tiêu thụ năng lượng nhỏ hơn tới 1.000 lần trong khi vẫn duy trì độ chính xác tương đương. Chẳng hạn, mô hình phát hiện từ khóa của họ chỉ tiêu tốn từ 42 đến 79 nanojoule cho mỗi lần suy luận, so với hơn 5.000 nanojoule của mô hình tốt nhất hiện có trong ngành. Bà John đã thay thế thành phần perceptron đa lớp (multilayer perceptron) trong mạng transformer — chiếm khoảng một nửa kiến trúc của một chatbot — và đang hướng tới việc thay thế cả cơ chế chú ý (attention mechanism). Bà tin rằng các mạng không trọng số có thể giúp AI hoạt động trên những thiết bị siêu nhỏ, tiêu thụ ít năng lượng, chẳng hạn như các nền nhựa dẻo dùng trong cảm biến y tế. Hiện việc huấn luyện vẫn được thực hiện trên GPU (bộ xử lý đồ họa), nhưng bà John hy vọng trong tương lai có thể chuyển sang phần cứng dựa trên FPGA (mảng cổng lập trình được dạng trường - field-programmable gate array), do cấu trúc bảng tra cứu của FPGA vốn rất phù hợp với cách tiếp cận này.