Des chercheurs espagnols créent un capteur neuromorphique qui voit la profondeur avec une seule lentille

IKERLAN, un centre technologique espagnol, a développé un prototype de système de vision machine neuromorphique appelé BEGI qui peut déterminer simultanément la profondeur spatiale et suivre le mouvement en utilisant uniquement une seule lentille et un seul capteur. Le dispositif imite l'œil composé d'un insecte et est destiné à ce que l'on appelle l'intelligence artificielle physique, y compris les robots, les drones et autres machines autonomes qui ont besoin de percevoir rapidement et d'interagir avec le monde environnant. Contrairement aux lidars et aux caméras de profondeur, le système fonctionne passivement, c'est-à-dire qu'il n'émet pas d'impulsions laser ou infrarouges. Le prototype est basé sur un capteur de vision dynamique, le Sony-Prophesee IMX636, sur lequel est placée une matrice de microlentilles. Chaque pixel d'un tel capteur transmet des données non pas à intervalles réguliers mais uniquement lorsqu'il détecte un changement de luminosité, formant un flux d'événements individuels. Les microlentilles permettent de déterminer la direction de la lumière entrante, et un algorithme de reconstruction stéréo directe calcule les formes des objets, la profondeur et le flux optique sans seconde caméra. L'IMX636 a une résolution de 1280 x 720 pixels, une latence inférieure à 100 microsecondes à un éclairage de 1000 lux, une plage dynamique supérieure à 120 dB et une consommation électrique maximale d'environ 205 mW. La principale limitation de l'échantillon actuel est sa résolution : pour déterminer la profondeur, le même point doit être enregistré par plusieurs pixels sous des angles différents. Par conséquent, la portée de la version pratique du BEGI est actuellement inférieure à un mètre, et son champ de vision est d'environ 20 à 40 degrés. Cela limite l'application de la plateforme de capteurs à des tâches de proximité, notamment les manipulateurs sur les lignes industrielles, la surveillance des mécanismes en mouvement et l'étape finale d'amarrage des engins spatiaux, où le capteur doit détecter presque instantanément de petits déplacements dans des conditions strictes de consommation d'énergie et de dissipation thermique. Actuellement, la partie informatique du BEGI est implémentée sur une matrice FPGA programmable et produit des trames d'événements filtrées, des dynamiques, des cartes de flux optique et des cartes de profondeur. La prochaine étape consiste à développer une puce ASIC spécialisée et un capteur grand format avec nettement plus de pixels. Selon les estimations des développeurs, une telle version pourrait augmenter la portée de détection à environ 16 mètres et élargir le champ de vision à 120 degrés, tout en maintenant une réponse de l'ordre de la microseconde et une conception à lentille unique. Cela permettrait à la technologie d'être largement utilisée dans les robots mobiles, les systèmes de navigation, les drones et les véhicules autonomes. Mais cela se produira-t-il ? Les développeurs espèrent pouvoir franchir ce chemin.