AI-modellen harder werken dan nodig? Gewichtloze neurale netwerken bieden een opzoektabel-alternatief

Professor Lizy K. John van de Universiteit van Texas in Austin stelt dat huidige AI-modellen, die sterk afhankelijk zijn van vermenigvuldigingsoperaties, mogelijk meer werk doen dan nodig is. Vijf jaar lang heeft ze gewerkt aan gewichtloze neurale netwerken die gebruikmaken van onderling verbonden opzoektabellen in plaats van het vermenigvuldigen van invoer met gewichten, waardoor de berekening wordt teruggebracht tot het raadplegen van opgeslagen binaire antwoorden. Bij taken zoals het herkennen van menselijke activiteit, ECG-monitoring en het herkennen van trefwoorden behalen de netwerken van haar team een 1.000 keer kleinere omvang en energieverbruik, terwijl de nauwkeurigheid behouden blijft. Zo gebruikt hun trefwoordherkenningsmodel slechts 42 tot 79 nanojoule per inferentie, vergeleken met meer dan 5.000 voor het huidige beste industriemodel. John heeft al het meerlagig perceptron-gedeelte van transformatornetwerken vervangen, ongeveer de helft van de architectuur van een chatbot, en streeft ernaar om ook het aandachtsmechanisme te vervangen. Ze gelooft dat gewichtloze netwerken AI mogelijk kunnen maken op kleine, energiezuinige apparaten zoals buigbare plastic substraten voor medische sensoren. Training vindt nog steeds plaats op GPU's, maar John hoopt uiteindelijk FPGA-gebaseerde hardware te gebruiken vanwege de natuurlijke passing van opzoektabellen in FPGA's.