Wir schlagen den Kalman-Filter mit einer einzelnen Kamera, aber zuerst verbrachten wir drei Wochen damit, eine Leiche zu vermessen
Ingenieure von MoranaLabs entwickelten einen neuronalen Tracker, der den klassischen Kalman-Filter bei einer Monokamera übertrifft, indem er das Ziel in 50 % der Episoden im Blindflug hält, gegenüber -3 % beim Kalman-Filter. Die Kombination aus KalmanNet und neuronalem Netzwerk erreicht eine Rückkehrrate zum Bildausschnitt von 80 %. Allerdings wurde das Projekt von Messfehlern geplagt, darunter ein defekter Sensor, der wochenlang Nullen ausgab.
Das Projekt bei MoranaLabs zielte darauf ab, ein Ziel, das für 0,75 Sekunden aus dem Kamerabild verschwindet, nur mit einer monokularen Kamera und ohne Entfernungsmesser visuell zu verfolgen. Der klassische Kalman-Filter verliert das Ziel in 84 Prozent der Episoden, während der hybride KalmanNet-Neuronale-Tracker es in 18 Prozent verliert und in 80 Prozent zur Mitte zurückführt. Das Team schrieb zunächst eine Teacher-Policy mit einem Vorzeichenfehler, wodurch alle 60 Versuche fehlschlugen. Sie verbrachten drei Wochen damit, Messmetriken zu debuggen, und entdeckten, dass die Umgebung einige Metriken in ein verschachteltes Wörterbuch schrieb, wodurch der Probe- und Curriculum-Callback Nullen lasen. Nach der Behebung der Fehler implementierten sie einen asymmetrischen Kritiker mit einem privilegierten Vektor aus dem Simulator und trainierten eine Weltmodell-Hilfsaufgabe, um diesen Vektor vorherzusagen, was die LSTM dazu zwang, die Dynamik zu integrieren. Das endgültige Modell erreichte eine Kosinus-Ähnlichkeit von 50 Prozent zwischen der Nase und der tatsächlichen Zielrichtung während der Blindphase, verglichen mit -3 Prozent bei Kalman und 41 Prozent bei einem rein neuronalen Piloten.
Quelle: Habr — хаб ИИ —
Original