AIモデルは必要以上に働いている？ウェイトレスニューラルネットワークがルックアップベースの代替手段を提供

テキサス大学オースティン校のリジー・K・ジョン教授は、現在のAIモデルが乗算演算に大きく依存しており、必要以上に多くの処理を行っている可能性があると主張しています。彼女は5年間にわたり、入力に重みを掛ける代わりに相互接続されたルックアップテーブルを使用する、重みなしニューラルネットワークに取り組んできました。これにより、計算は保存されているバイナリ応答を参照するだけに簡素化されます。人間の活動認識、心電図モニタリング、キーワードスポッティングなどのタスクにおいて、彼女のチームのネットワークは、精度を維持しながらサイズと消費エネルギーを1000分の1に削減しています。例えば、彼らのキーワードスポッティングモデルは、推論あたりわずか42～79ナノジュールしか消費せず、現在の最良の業界モデルの5,000ナノジュール以上と比較されます。ジョン教授はすでに、チャットボットのアーキテクチャの約半分を占めるトランスフォーマーネットワークの多層パーセプトロン部分を置き換えており、アテンションメカニズムの置き換えも目指しています。彼女は、重みなしネットワークにより、曲げ可能なプラスチック基板上の医療センサーなど、小型・低消費電力のデバイスでAIが実現できる可能性があると考えています。トレーニングは依然としてGPU上で行われますが、ジョン教授は、FPGAのルックアップテーブルが自然に適合するため、最終的にはFPGAベースのハードウェアを使用したいと考えています。