KI-Modelle arbeiten härter als nötig? Gewichtslose neuronale Netze bieten eine lookup-basierte Alternative

Professorin Lizy K. John von der University of Texas at Austin argumentiert, dass aktuelle KI-Modelle, die stark auf Multiplikationsoperationen angewiesen sind, möglicherweise mehr Arbeit verrichten als nötig. Fünf Jahre lang hat sie an gewichtslosen neuronalen Netzen gearbeitet, die miteinander verbundene Nachschlagetabellen verwenden, anstatt Eingaben mit Gewichten zu multiplizieren, wodurch die Berechnung auf das Abrufen gespeicherter binärer Antworten reduziert wird. Bei Aufgaben wie der Erkennung menschlicher Aktivitäten, der EKG-Überwachung und der Erkennung von Schlüsselwörtern erreichen die Netze ihres Teams eine 1.000-mal geringere Größe und einen 1.000-mal geringeren Energieverbrauch bei gleichbleibender Genauigkeit. Beispielsweise benötigt ihr Modell zur Erkennung von Schlüsselwörtern nur 42 bis 79 Nanojoule pro Inferenz, verglichen mit über 5.000 beim derzeit besten Industriemodell. John hat bereits den Mehrschicht-Perzeptron-Teil von Transformer-Netzen ersetzt, der etwa die Hälfte der Architektur eines Chatbots ausmacht, und strebt an, auch den Aufmerksamkeitsmechanismus zu ersetzen. Sie glaubt, dass gewichtslose Netze KI auf winzigen, energiesparenden Geräten ermöglichen könnten, wie zum Beispiel auf biegsamen Kunststoffsubstraten für medizinische Sensoren. Das Training erfolgt weiterhin auf GPUs, aber John hofft, letztendlich FPGA-basierte Hardware zu verwenden, da die Nachschlagetabellen von FPGAs natürlicherweise passen.