Model AI Bekerja Lebih Keras dari yang Dibutuhkan? Jaringan Saraf Tanpa Bobot Menawarkan Alternatif Berbasis Pencarian

Profesor Lizy K. John dari Universitas Texas di Austin berpendapat bahwa model AI saat ini, yang sangat bergantung pada operasi perkalian, mungkin melakukan lebih banyak pekerjaan daripada yang diperlukan. Selama lima tahun, ia telah mengerjakan jaringan saraf tanpa bobot yang menggunakan tabel pencarian yang saling terhubung, bukan mengalikan input dengan bobot, sehingga komputasi berkurang menjadi konsultasi jawaban biner yang tersimpan. Pada tugas-tugas seperti pengenalan aktivitas manusia, pemantauan ECG, dan pengecaman kata kunci, jaringan timnya mencapai ukuran dan penggunaan energi 1.000 kali lebih kecil sambil mempertahankan akurasi. Misalnya, model pengecaman kata kunci mereka hanya menggunakan 42 hingga 79 nanojoule per inferensi dibandingkan dengan lebih dari 5.000 untuk model industri terbaik saat ini. John telah mengganti bagian multilayer-perceptron dari jaringan transformer, sekitar setengah dari arsitektur chatbot, dan bertujuan untuk mengganti mekanisme perhatian juga. Ia percaya jaringan tanpa bobot dapat memungkinkan AI pada perangkat kecil berdaya rendah seperti substrat plastik lentur untuk sensor medis. Pelatihan masih terjadi pada GPU, tetapi John berharap pada akhirnya menggunakan perangkat keras berbasis FPGA karena kesesuaian alami tabel pencarian FPGA.