Superamos al filtro de Kalman con una sola cámara, pero primero pasamos tres semanas midiendo un cadáver
Los ingenieros de MoranaLabs desarrollaron un rastreador neuronal que supera al clásico filtro de Kalman en una cámara monocular, manteniendo el objetivo oculto en el 50% de los episodios frente al -3% de Kalman. El híbrido de KalmanNet y red neuronal logra una tasa de retorno al encuadre del 80%. Sin embargo, el proyecto estuvo plagado de errores de medición, incluida una sonda defectuosa que leyó ceros durante semanas.
El proyecto en MoranaLabs tenía como objetivo mantener un seguimiento visual de un objetivo que desaparece del encuadre de la cámara durante 0,75 segundos, utilizando solo una cámara monocular sin telémetro. El filtro de Kalman clásico pierde el objetivo en el 84% de los episodios, mientras que el rastreador híbrido KalmanNet-neuronal lo pierde en el 18% y lo devuelve al centro en el 80%. El equipo inicialmente escribió una política de profesor con un error de signo, lo que provocó que fallara en los 60 intentos. Pasaron tres semanas depurando las métricas de medición, descubriendo que el entorno escribía algunas métricas en un diccionario anidado, lo que causaba que la sonda y el callback del currículo leyeran ceros. Después de corregir los errores, implementaron un crítico asimétrico con un vector privilegiado del simulador, y entrenaron una tarea auxiliar de modelo del mundo para predecir ese vector, lo que obligó al LSTM a integrar la dinámica. El modelo final logró una similitud coseno del 50% entre la nariz y la dirección real del objetivo durante el período ciego, en comparación con el -3% del Kalman y el 41% de un piloto puramente neuronal.
Fuente: Habr — хаб ИИ —
original