AI模型是否过度发力？无权重神经网络提供基于查表的替代方案

德克萨斯大学奥斯汀分校的Lizy K. John教授认为，当前严重依赖乘法运算的人工智能模型可能做了比实际需要更多的工作。五年来，她一直致力于无权重神经网络的研究，这种网络使用相互连接的查找表，而不是将输入与权重相乘，从而将计算简化为查阅存储的二进制答案。在人类活动识别、心电图监测和关键词识别等任务中，她团队的网络的体积和能耗降低了1000倍，同时保持了准确性。例如，他们的关键词识别模型每次推理仅消耗42至79纳焦耳的能量，而当前业界最佳模型的能耗超过5000纳焦耳。John已经替换了变压器网络中的多层感知器部分，这大约占聊天机器人架构的一半，并且她旨在替换注意力机制。她相信无权重网络可以使人工智能在微小、低功耗的设备上运行，比如用于医疗传感器的可弯曲塑料基板。训练仍然在图形处理器上进行，但John希望最终能使用基于现场可编程门阵列的硬件，因为现场可编程门阵列的查找表与之天然契合。