AI 모델이 필요 이상으로 열심히 일하고 있나? 무게 없는 신경망이 조회 기반 대안을 제시

텍사스 대학교 오스틴 캠퍼스의 리지 K. 존(Lizy K. John) 교수는 곱셈 연산에 크게 의존하는 현재의 AI 모델들이 실제로 필요한 것보다 더 많은 연산을 수행하고 있을지 모른다고 주장한다. 그녀는 5년 동안 입력값을 가중치와 곱하는 대신 서로 연결된 룩업 테이블(lookup table, 조회표)을 사용하는 '무가중치 신경망(weightless neural network)'을 연구해왔으며, 이는 연산 과정을 미리 저장된 이진 답을 참조하는 방식으로 단순화한다. 인간 행동 인식, 심전도(ECG, electrocardiogram) 모니터링, 키워드 인식 등의 작업에서 그녀의 연구팀이 개발한 신경망은 정확도를 유지하면서도 크기와 에너지 사용량을 1,000배나 줄이는 데 성공했다. 예를 들어, 이들의 키워드 인식 모델은 추론(inference) 1회당 단 42~79나노줄(nanojoule)의 에너지만을 사용하는데, 이는 현재 업계 최고 수준 모델이 소비하는 5,000나노줄 이상과 비교된다. 존 교수는 이미 트랜스포머 네트워크의 다층 퍼셉트론(multilayer-perceptron) 부분, 즉 챗봇 아키텍처의 약 절반에 해당하는 부분을 무가중치 방식으로 대체했으며, 앞으로는 어텐션(attention) 메커니즘까지도 대체하는 것을 목표로 하고 있다. 그녀는 무가중치 신경망이 의료용 센서에 쓰이는 휘어지는 플라스틱 기판과 같은 초소형·저전력 장치에서도 AI를 구현할 수 있게 해줄 것이라고 믿는다. 훈련 과정은 여전히 GPU(graphics processing unit, 그래픽 처리 장치)에서 이루어지고 있지만, 존 교수는 FPGA(field-programmable gate array, 필드 프로그래머블 게이트 어레이)의 룩업 테이블 구조가 이러한 방식과 자연스럽게 맞아떨어지는 만큼, 궁극적으로는 FPGA 기반 하드웨어를 활용하고자 한다.