スペインの研究者が単一レンズで奥行きを認識するニューロモーフィックセンサーを開発

IKERLANというスペインの技術センターが、BEGIと呼ばれるニューロモルフィック機械視覚システムのプロトタイプを開発しました。これは単一のレンズとセンサーを使用して、空間深度の決定と動きの追跡を同時に行うことができます。このデバイスは昆虫の複眼を模倣しており、ロボット、ドローン、その他の自律機械など、周囲の世界を迅速に知覚して相互作用する必要がある、いわゆる物理的人工知能を目的としています。ライダーや深度カメラとは異なり、このシステムはパッシブに動作し、レーザーや赤外線パルスを発しません。プロトタイプは、ダイナミックビジョンセンサーであるSony-Prophesee IMX636に基づいており、その上にマイクロレンズのマトリックスが配置されています。このようなセンサーの各ピクセルは、一定の間隔ではなく、輝度の変化を検出したときのみデータを送信し、個々のイベントのストリームを形成します。マイクロレンズにより、入射光の方向を決定でき、直接ステレオ再構成のアルゴリズムが、2台目のカメラなしで物体の形状、深度、およびオプティカルフローを計算します。IMX636は、1280 x 720ピクセルの解像度、1000ルクスの照明下で100マイクロ秒未満のレイテンシ、120dBを超えるダイナミックレンジ、最大消費電力約205mWを備えています。現在のサンプルの主な制限はその解像度です。深度を決定するには、同じ点を異なる角度の複数のピクセルで登録する必要があります。したがって、BEGIの実用版の範囲は現在1メートル未満であり、その視野はおよそ20〜40度です。これにより、センサープラットフォームの適用は近距離タスクに限定されます。これには、産業ラインのマニピュレータ、移動機構の監視、宇宙船の最終ドッキング段階が含まれ、センサーは厳しい電力と放熱の制約下で小さな変位をほぼ瞬時に検出する必要があります。現在、BEGIの計算部分はプログラム可能なFPGAマトリックス上に実装されており、フィルタリングされたイベントフレーム、ダイナミクス、オプティカルフローマップ、深度マップを生成します。次のステップは、専用のASICチップと、大幅に多くのピクセルを備えた大判センサーを開発することです。開発者の見積もりによると、そのようなバージョンはセンシング範囲を約16メートルに拡大し、視野を120度に拡大しながら、マイクロ秒レベルの応答と単一レンズ設計を維持できる可能性があります。これにより、この技術は移動ロボット、ナビゲーションシステム、ドローン、および自動運転車両で広く使用できるようになります。しかし、それは実現するのでしょうか？開発者たちは、この道を進むことができると期待しています。