Des modèles d'IA qui travaillent plus dur que nécessaire ? Les réseaux de neurones sans poids offrent une alternative basée sur des tables de consultation

La professeure Lizy K. John de l'Université du Texas à Austin soutient que les modèles d'IA actuels, qui reposent fortement sur des opérations de multiplication, pourraient faire plus de travail que nécessaire. Depuis cinq ans, elle travaille sur des réseaux de neurones sans poids qui utilisent des tables de correspondance interconnectées au lieu de multiplier les entrées par des poids, réduisant ainsi le calcul à la consultation de réponses binaires stockées. Sur des tâches telles que la reconnaissance d'activité humaine, la surveillance ECG et la détection de mots-clés, les réseaux de son équipe atteignent une taille et une consommation d'énergie 1 000 fois plus petites tout en maintenant leur précision. Par exemple, leur modèle de détection de mots-clés n'utilise que 42 à 79 nanojoules par inférence, contre plus de 5 000 pour le meilleur modèle industriel actuel. John a déjà remplacé la partie perceptron multicouche des réseaux de transformeurs, environ la moitié de l'architecture d'un chatbot, et vise à remplacer également le mécanisme d'attention. Elle pense que les réseaux sans poids pourraient permettre l'IA sur de petits appareils à faible consommation, comme les substrats en plastique flexible pour les capteurs médicaux. L'entraînement se fait toujours sur des GPU, mais John espère éventuellement utiliser du matériel à base de FPGA en raison de l'adéquation naturelle des tables de correspondance des FPGA.