不正検知が生んだジョニーとジュリア:ブラウザでできる首トレーニングのストーリー
Google/DeepMind
Biorg の研究開発者が、不正検知用の顔追跡機能をブラウザベースの首のエクササイズゲームに転用しました。このゲームには、ジョニーとジュリアという2人のカートゥーン調のインストラクターが登場します。ゲームは MediaPipe を使用して顔の動きを追跡し、同期をカウントし、モバイルデバイスにも対応しています。このプロジェクトは無料で利用でき、音楽をオプションで追加することも可能です。
Biorgの研究開発者であるAlbert Stepanyan氏は、同社の不正防止用ビデオ本人確認システムで使用されている顔追跡技術が動作トラッカーとしても使えることに気づき、ブラウザベースの首のエクササイズゲームを開発しました。「Johnny and Julia」という名前のこのゲームは、MediaPipe Face Meshライブラリを使用して顔のキーポイントを検出し、実際の時間で頭部の回転角度を計算します。ユーザーは30個のランダムに生成された動きを実行し、画面上のインストラクター(男性用はJohnny、女性用はJulia。性別はface-api.jsで検出されます)に従います。このシステムは、期待される動作時間と実際の遅延を比較してユーザーの同期をスコアリングし、パーセンテージスコアと励ましのフィードバックを生成します。開発者は最初にモバイル互換性の問題に直面しましたが、画面サイズではなくデバイスの向きとタッチイベントを介してモバイルデバイスを検出することで解決しました。インターフェースは縦向きと横向きに適応し、ユーザーとインストラクターのウィンドウはそれに応じて配置されます。バックグラウンドミュージックがあるとリズミカルに動くユーザーがいるという観察の後、音楽再生が追加されました。選択されたトラックはテンポが毎分約140ビートです。追跡ライブラリ全体は外部依存を避けるためにローカルでホストされており、プロジェクトは自由にアクセスできます。
出典: Habr — хаб ML —
原文
