스페인 연구진, 단일 렌즈로 깊이를 인식하는 뉴로모픽 센서 개발

스페인 기술 센터인 IKERLAN은 단일 렌즈와 센서만으로 공간 깊이를 파악하고 동시에 움직임을 추적할 수 있는 뉴로모픽(neuromorphic, 신경모방형) 머신 비전 시스템 프로토타입 'BEGI'를 개발했다. 이 장치는 곤충의 복안(compound eye)을 모방한 것으로, 주변 세계를 빠르게 인지하고 상호작용해야 하는 로봇, 드론 등 자율 기계를 위한 이른바 물리적 인공지능(physical artificial intelligence)을 위해 설계되었다. 라이다(lidar, 레이저를 이용한 거리 측정 장치)나 깊이 카메라와 달리 이 시스템은 레이저나 적외선 펄스를 방출하지 않는 수동 방식으로 작동한다. 이 프로토타입은 소니-프로페시(Sony-Prophesee)의 다이내믹 비전 센서 IMX636을 기반으로 하며, 그 위에 마이크로렌즈 매트릭스가 배치되어 있다. 이런 센서의 각 픽셀은 일정한 간격으로 데이터를 전송하는 것이 아니라 밝기 변화를 감지했을 때만 전송하여 개별 이벤트의 스트림을 형성한다. 마이크로렌즈는 입사광의 방향을 판별할 수 있게 해주며, 직접 스테레오 재구성(direct stereo reconstruction) 알고리즘은 두 번째 카메라 없이도 물체의 형태, 깊이, 광학 흐름(optical flow)을 계산한다. IMX636은 해상도 1280x720픽셀, 1000럭스(lux) 조도에서 100마이크로초 미만의 지연시간, 120dB(데시벨)를 넘는 다이내믹 레인지, 그리고 약 205mW(밀리와트)의 최대 전력 소비량을 갖고 있다. 현재 시제품의 주요 한계는 해상도다. 깊이를 판별하기 위해서는 동일한 지점을 여러 픽셀이 서로 다른 각도에서 포착해야 하기 때문이다. 따라서 현재 BEGI 실용 버전의 감지 범위는 1미터 미만이며, 시야각은 대략 20~40도에 불과하다. 이로 인해 이 센서 플랫폼의 활용은 산업 생산라인의 조작기(manipulator), 움직이는 기계장치의 모니터링, 우주선의 최종 도킹 단계처럼 엄격한 전력 및 발열 제약 속에서 작은 변위를 거의 즉각적으로 감지해야 하는 근거리 작업에 한정된다. 현재 BEGI의 연산 부분은 프로그래머블 FPGA(field-programmable gate array, 필드 프로그래머블 게이트 어레이) 칩 위에서 구현되어 있으며, 필터링된 이벤트 프레임, 동적 정보, 광학 흐름 지도, 깊이 지도를 생성한다. 다음 단계는 전용 ASIC(application-specific integrated circuit, 주문형 반도체) 칩과 픽셀 수를 크게 늘린 대형 센서를 개발하는 것이다. 개발진의 추산에 따르면, 이러한 버전은 감지 범위를 약 16미터까지 늘리고 시야각을 120도까지 넓히면서도 마이크로초 단위의 응답 속도와 단일 렌즈 구조를 유지할 수 있을 것으로 기대된다. 이렇게 되면 이 기술은 이동 로봇, 내비게이션 시스템, 드론, 자율주행차 등에서 폭넓게 활용될 수 있을 것이다. 하지만 실현될 수 있을까? 개발진은 이 길을 끝까지 갈 수 있기를 희망하고 있다.