Spaanse onderzoekers creëren neuromorfe sensor die diepte ziet met één lens

IKERLAN, een Spaans technologiecentrum, heeft een prototype neuromorfisch machinevisiesysteem genaamd BEGI ontwikkeld dat gelijktijdig ruimtelijke diepte kan bepalen en beweging kan volgen met slechts één lens en sensor. Het apparaat bootst het samengestelde oog van een insect na en is bedoeld voor zogenaamde fysieke kunstmatige intelligentie, waaronder robots, drones en andere autonome machines die snel de wereld om hen heen moeten waarnemen en ermee moeten interageren. In tegenstelling tot lidars en dieptecamera's werkt het systeem passief, wat betekent dat het geen laser- of infraroodpulsen uitzendt. Het prototype is gebaseerd op een dynamische visiesensor, de Sony-Prophesee IMX636, waarover een matrix van microlenzen is geplaatst. Elke pixel van zo'n sensor verzendt gegevens niet met regelmatige intervallen, maar alleen wanneer het een verandering in helderheid detecteert, waardoor een stroom van individuele gebeurtenissen ontstaat. De microlenzen maken het mogelijk om de richting van invallend licht te bepalen, en een algoritme voor directe stereoreconstructie berekent vormen, diepte en optische stroom van objecten zonder een tweede camera. De IMX636 heeft een resolutie van 1280 x 720 pixels, een latentie van minder dan 100 microseconden bij 1000 lux verlichting, een dynamisch bereik van meer dan 120 dB en een maximaal stroomverbruik van ongeveer 205 mW. De belangrijkste beperking van het huidige exemplaar is de resolutie: om diepte te bepalen, moet hetzelfde punt door meerdere pixels onder verschillende hoeken worden geregistreerd. Daarom is het bereik van de praktische versie van BEGI momenteel minder dan één meter, en het gezichtsveld is ongeveer 20 tot 40 graden. Dit beperkt de toepassing van het sensorplatform tot taken op korte afstand, waaronder manipulatoren op industriële lijnen, het bewaken van bewegende mechanismen en de laatste koppelingsfase van ruimtevaartuigen, waar de sensor bijna onmiddellijk kleine verplaatsingen moet detecteren onder strikte beperkingen op het gebied van stroomverbruik en warmteafvoer. Momenteel is het computationele deel van BEGI geïmplementeerd op een programmeerbare FPGA-matrix en produceert het gefilterde gebeurtenisframes, dynamica, optische stroomkaarten en dieptekaarten. De volgende stap is het ontwikkelen van een gespecialiseerde ASIC-chip en een grootformaat sensor met aanzienlijk meer pixels. Volgens de schattingen van de ontwikkelaars zou een dergelijke versie het detectiebereik kunnen vergroten tot ongeveer 16 meter en het gezichtsveld kunnen uitbreiden tot 120 graden, terwijl de responstijd op microseconde niveau blijft en het ontwerp met één lens behouden blijft. Dit zou de technologie op grote schaal kunnen toepassen in mobiele robots, navigatiesystemen, drones en autonome voertuigen. Maar zal het gebeuren? De ontwikkelaars hopen dat ze dit pad kunnen voltooien.