Comment la détection de fraude a donné naissance à Johnny et Julia : une histoire d'exercice dans le navigateur

Albert Stepanyan, développeur R&D chez Biorg, a créé un jeu d'entraînement cervical basé sur navigateur après avoir réalisé que la technologie de suivi facial utilisée dans leur système d'identification vidéo anti-fraude pouvait également servir de suivi de mouvements. Le jeu, appelé « Johnny and Julia », utilise la bibliothèque MediaPipe Face Mesh pour détecter les points clés du visage et calculer en temps réel les angles de rotation de la tête. Les utilisateurs effectuent 30 mouvements générés aléatoirement, en suivant un instructeur à l'écran (Johnny pour les hommes, Julia pour les femmes, le genre étant détecté via face-api.js). Le système évalue la synchronisation de l'utilisateur en comparant les temps de mouvement attendus aux délais réels, produisant un score en pourcentage avec un retour encourageant. Le développeur a d'abord rencontré des problèmes de compatibilité mobile, résolus en détectant les appareils mobiles via l'orientation de l'appareil et les événements tactiles plutôt que par la taille de l'écran. L'interface s'adapte aux orientations verticale et horizontale, avec les fenêtres de l'utilisateur et de l'instructeur positionnées en conséquence. La lecture de musique a été ajoutée après avoir observé que certains utilisateurs bougeaient plus rythmiquement avec une musique de fond ; la piste sélectionnée a un tempo d'environ 140 battements par minute. L'ensemble de la bibliothèque de suivi est hébergée localement pour éviter les dépendances externes, et le projet est librement accessible.