Spanische Forscher entwickeln neuromorphen Sensor, der mit einer einzigen Linse Tiefe sieht

IKERLAN, ein spanisches Technologiezentrum, hat einen Prototyp eines neuromorphen maschinenvisionären Systems namens BEGI entwickelt, das gleichzeitig räumliche Tiefe bestimmen und Bewegungen verfolgen kann – mit nur einer einzigen Linse und einem Sensor. Das Gerät imitiert das Facettenauge eines Insekts und ist für die sogenannte physische künstliche Intelligenz gedacht, einschließlich Robotern, Drohnen und anderen autonomen Maschinen, die die Umgebung schnell wahrnehmen und mit ihr interagieren müssen. Im Gegensatz zu Lidars und Tiefenkameras arbeitet das System passiv, das heißt, es sendet keine Laser- oder Infrarotimpulse aus. Der Prototyp basiert auf einem dynamischen Vision-Sensor, dem Sony-Prophesee IMX636, über dem eine Matrix aus Mikrolinsen platziert ist. Jedes Pixel eines solchen Sensors überträgt Daten nicht in regelmäßigen Abständen, sondern nur dann, wenn es eine Helligkeitsänderung erkennt, wodurch ein Strom einzelner Ereignisse entsteht. Die Mikrolinsen ermöglichen die Bestimmung der Richtung des einfallenden Lichts, und ein Algorithmus zur direkten Stereo-Rekonstruktion berechnet Objektformen, Tiefe und optischen Fluss ohne eine zweite Kamera. Der IMX636 hat eine Auflösung von 1280 x 720 Pixeln, eine Latenz von weniger als 100 Mikrosekunden bei 1000 Lux Beleuchtung, einen Dynamikbereich von über 120 dB und eine maximale Leistungsaufnahme von etwa 205 mW. Die Hauptbeschränkung des aktuellen Musters ist seine Auflösung: Um die Tiefe zu bestimmen, muss derselbe Punkt von mehreren Pixeln aus verschiedenen Winkeln erfasst werden. Daher liegt die Reichweite der praktischen Version von BEGI derzeit bei weniger als einem Meter, und ihr Sichtfeld beträgt etwa 20 bis 40 Grad. Dies begrenzt die Anwendung der Sensorplattform auf Nahbereichsaufgaben, einschließlich Manipulatoren an industriellen Linien, der Überwachung beweglicher Mechanismen und der letzten Andockphase von Raumfahrzeugen, wo der Sensor fast augenblicklich kleine Verschiebungen unter strengen Leistungs- und Wärmeableitungsbeschränkungen erkennen muss. Derzeit ist der Rechenteil von BEGI auf einer programmierbaren FPGA-Matrix implementiert und erzeugt gefilterte Ereignisframes, Dynamik, optische Flusskarten und Tiefenkarten. Der nächste Schritt ist die Entwicklung eines spezialisierten ASIC-Chips und eines Großformat-Sensors mit deutlich mehr Pixeln. Nach Schätzungen der Entwickler könnte eine solche Version die Sensorreichweite auf etwa 16 Meter erhöhen und das Sichtfeld auf 120 Grad erweitern, während eine Reaktionszeit im Mikrosekundenbereich und ein Einlinsen-Design beibehalten bleiben. Dies würde eine breite Anwendung der Technologie in mobilen Robotern, Navigationssystemen, Drohnen und autonomen Fahrzeugen ermöglichen. Aber wird es passieren? Die Entwickler hoffen, diesen Weg gehen zu können.