Modelos de IA Trabalhando Mais do que Precisam? Redes Neurais sem Peso Oferecem uma Alternativa Baseada em Tabelas de Consulta

A professora Lizy K. John, da Universidade do Texas em Austin, argumenta que os modelos atuais de IA, que dependem fortemente de operações de multiplicação, podem estar fazendo mais trabalho do que o necessário. Há cinco anos, ela trabalha em redes neurais sem pesos, que usam tabelas de consulta interconectadas em vez de multiplicar entradas por pesos, reduzindo a computação a consultar respostas binárias armazenadas. Em tarefas como reconhecimento de atividade humana, monitoramento de eletrocardiograma e detecção de palavras-chave, as redes de sua equipe alcançam tamanho e consumo de energia 1.000 vezes menores, mantendo a precisão. Por exemplo, seu modelo de detecção de palavras-chave usa apenas 42 a 79 nanojoules por inferência, em comparação com mais de 5.000 para o melhor modelo da indústria atual. John já substituiu a porção de perceptron multicamadas das redes transformer, cerca de metade da arquitetura de um chatbot, e pretende substituir também o mecanismo de atenção. Ela acredita que redes sem pesos poderiam permitir IA em dispositivos minúsculos e de baixo consumo, como substratos plásticos flexíveis para sensores médicos. O treinamento ainda ocorre em GPUs, mas John espera eventualmente usar hardware baseado em FPGA, devido à adequação natural das tabelas de consulta do FPGA.