単眼カメラでカルマンフィルターを凌駕、だがその前に3週間を遺体の計測に費やした

MoranaLabsのプロジェクトは、レンジファインダーを持たない単眼カメラのみを使用して、カメラの視界から0.75秒間消えるターゲットを視覚的に追跡し続けることを目指しました。古典的なカルマンフィルタはエピソードの84%でターゲットを見失うのに対し、ハイブリッドなKalmanNet-ニューラルトラッカーは18%で見失い、80%で中央に戻します。チームは当初、符号エラーを含む教師ポリシーを書き、その結果60回すべての試行を失敗させました。彼らは測定メトリクスのデバッグに3週間を費やし、環境が一部のメトリクスをネストされた辞書に書き込むことで、プローブとカリキュラムのコールバックがゼロを読み取っていたことを発見しました。バグを修正した後、彼らはシミュレータからの特権ベクトルを用いた非対称な批評家を実装し、そのベクトルを予測するワールドモデルの補助タスクを訓練し、LSTMにダイナミクスの統合を強制しました。最終モデルは、ブラインド期間中にノーズと真のターゲット方向の間で50%のコサイン類似度を達成しました。これはカルマンの-3%、純粋なニューラルパイロットの41%と比較されます。