Các nhà nghiên cứu Tây Ban Nha tạo ra cảm biến neuromorphic nhìn độ sâu bằng một thấu kính duy nhất

IKERLAN, một trung tâm công nghệ của Tây Ban Nha, đã phát triển một nguyên mẫu hệ thống thị giác máy neuromorphic có tên BEGI có thể đồng thời xác định độ sâu không gian và theo dõi chuyển động chỉ bằng một thấu kính và cảm biến duy nhất. Thiết bị này mô phỏng mắt kép của côn trùng và được thiết kế cho cái gọi là trí tuệ nhân tạo vật lý, bao gồm robot, máy bay không người lái và các máy tự hành khác cần nhanh chóng nhận thức và tương tác với thế giới xung quanh. Không giống như lidar và camera đo độ sâu, hệ thống này hoạt động thụ động, nghĩa là nó không phát ra xung laser hoặc hồng ngoại. Nguyên mẫu dựa trên cảm biến thị giác động, Sony-Prophesee IMX636, trên đó đặt một ma trận các vi thấu kính. Mỗi pixel của cảm biến như vậy truyền dữ liệu không phải theo các khoảng thời gian đều đặn mà chỉ khi nó phát hiện thay đổi độ sáng, tạo thành một luồng các sự kiện riêng lẻ. Các vi thấu kính cho phép xác định hướng của ánh sáng tới, và một thuật toán tái tạo lập thể trực tiếp tính toán hình dạng vật thể, độ sâu và dòng quang mà không cần camera thứ hai. IMX636 có độ phân giải 1280 x 720 pixel, độ trễ dưới 100 micro giây ở độ rọi 1000 lux, dải tương phản động vượt quá 120 dB và mức tiêu thụ điện năng tối đa khoảng 205 mW. Hạn chế chính của mẫu hiện tại là độ phân giải: để xác định độ sâu, cùng một điểm phải được ghi nhận bởi nhiều pixel ở các góc khác nhau. Do đó, phạm vi hoạt động của phiên bản thực tế của BEGI hiện dưới một mét và trường nhìn khoảng 20 đến 40 độ. Điều này giới hạn ứng dụng của nền tảng cảm biến cho các nhiệm vụ tầm gần, bao gồm tay máy trên dây chuyền công nghiệp, giám sát các cơ cấu chuyển động và giai đoạn ghép nối cuối cùng của tàu vũ trụ, nơi cảm biến phải gần như ngay lập tức phát hiện các dịch chuyển nhỏ trong các ràng buộc nghiêm ngặt về điện năng và tản nhiệt. Hiện tại, phần tính toán của BEGI được triển khai trên ma trận FPGA lập trình được và tạo ra các khung sự kiện đã lọc, động lực học, bản đồ dòng quang và bản đồ độ sâu. Bước tiếp theo là phát triển chip ASIC chuyên dụng và cảm biến định dạng lớn với số pixel lớn hơn đáng kể. Theo ước tính của các nhà phát triển, phiên bản như vậy có thể tăng phạm vi cảm biến lên khoảng 16 mét và mở rộng trường nhìn lên 120 độ, trong khi vẫn duy trì phản hồi ở mức micro giây và thiết kế thấu kính đơn. Điều này sẽ cho phép công nghệ được sử dụng rộng rãi trong robot di động, hệ thống định vị, máy bay không người lái và xe tự hành. Nhưng điều đó có xảy ra không? Các nhà phát triển hy vọng họ có thể vượt qua con đường này.