Nous battons le filtre de Kalman sur une seule caméra, mais d'abord, nous avons passé trois semaines à mesurer un cadavre
Les ingénieurs de MoranaLabs ont développé un traqueur neuronal qui surpasse le filtre de Kalman classique sur une caméra monoculaire, maintenant la cible invisible dans 50 % des épisodes, contre -3 % pour Kalman. L'hybride de KalmanNet et du réseau neuronal atteint un taux de retour au cadre de 80 %. Cependant, le projet a été entravé par des bogues de mesure, notamment une sonde cassée qui lisait des zéros pendant des semaines.
Le projet chez MoranaLabs visait à maintenir un verrouillage visuel sur une cible qui disparaît du cadre de la caméra pendant 0,75 seconde, en utilisant uniquement une caméra monoculaire sans télémètre. Le filtre de Kalman classique perd la cible dans 84% des épisodes, tandis que le traqueur hybride KalmanNet-neuronal la perd dans 18% des cas et la ramène au centre dans 80%. L'équipe a initialement écrit une politique enseignante avec une erreur de signe, ce qui a entraîné l'échec de toutes les 60 tentatives. Ils ont passé trois semaines à déboguer les métriques de mesure, découvrant que l'environnement écrivait certaines métriques dans un dictionnaire imbriqué, ce qui faisait que la sonde et le rappel de curriculum lisaient des zéros. Après avoir corrigé les bugs, ils ont implémenté un critique asymétrique avec un vecteur privilégié provenant du simulateur, et ont entraîné une tâche auxiliaire de modèle du monde pour prédire ce vecteur, ce qui a forcé le LSTM à intégrer la dynamique. Le modèle final a atteint une similarité cosinus de 50% entre le nez et la direction réelle de la cible pendant la période aveugle, contre -3% pour Kalman et 41% pour un pilote purement neuronal.
Source: Habr — хаб ИИ —
original