단일 카메라에서 칼만 필터를 이겼지만, 먼저 시신을 측정하는 데 3주를 보냈다

MoranaLabs의 프로젝트는 단안 카메라와 거리 측정기 없는 상태에서 대상이 카메라 프레임에서 0.75초 동안 사라져도 시각적으로 추적을 유지하는 것을 목표로 했습니다. 기존의 칼만 필터는 에피소드의 84%에서 대상을 놓치는 반면, 하이브리드 KalmanNet-신경 추적기는 18%에서만 놓치고 80%에서 대상을 중앙으로 되돌렸습니다. 팀은 처음에 부호 오류가 있는 교사 정책을 작성하여 60번의 시도 모두를 실패하게 했습니다. 그들은 측정 지표를 디버깅하는 데 3주를 보냈고, 환경이 일부 지표를 중첩된 사전(dictionary)에 기록하여 프로브와 커리큘럼 콜백이 0을 읽게 만든다는 것을 발견했습니다. 버그를 수정한 후, 그들은 시뮬레이터에서 특권 벡터(privileged vector)를 사용하는 비대칭 비평가(asymmetric critic)를 구현하고, 그 벡터를 예측하는 세계 모델 보조 작업을 훈련하여 LSTM이 역학을 통합하도록 강제했습니다. 최종 모델은 블라인드 기간 동안 코 방향과 실제 목표 방향 사이의 코사인 유사도가 50%를 달성했으며, 칼만 필터는 -3%, 순수 신경 조종은 41%를 기록했습니다.