¿Modelos de IA trabajando más de lo necesario? Las redes neuronales sin pesos ofrecen una alternativa basada en tablas de consulta

La profesora Lizy K. John, de la Universidad de Texas en Austin, sostiene que los modelos actuales de inteligencia artificial, que dependen en gran medida de operaciones de multiplicación, podrían estar haciendo más trabajo del necesario. Durante cinco años, ha trabajado en redes neuronales sin pesos que utilizan tablas de consulta interconectadas en lugar de multiplicar las entradas por los pesos, reduciendo el cálculo a consultar respuestas binarias almacenadas. En tareas como el reconocimiento de actividad humana, la monitorización de electrocardiogramas y la detección de palabras clave, las redes de su equipo logran un tamaño y un consumo de energía 1.000 veces menores, manteniendo la precisión. Por ejemplo, su modelo de detección de palabras clave utiliza solo de 42 a 79 nanojulios por inferencia, en comparación con más de 5.000 para el mejor modelo industrial actual. John ya ha reemplazado la parte de perceptrón multicapa de las redes transformer, aproximadamente la mitad de la arquitectura de un chatbot, y pretende reemplazar también el mecanismo de atención. Cree que las redes sin pesos podrían permitir la IA en dispositivos diminutos y de baja potencia, como sustratos de plástico flexible para sensores médicos. El entrenamiento todavía se realiza en GPU, pero John espera eventualmente utilizar hardware basado en FPGA debido al ajuste natural de las tablas de consulta de las FPGA.