사기 탐지가 낳은 조니와 줄리아: 브라우저 운동 스토리
Google/DeepMind
Biorg의 연구개발 개발자가 사기 탐지용 얼굴 추적 기능을 브라우저 기반 목 운동 게임으로 전환했습니다. 이 게임에는 두 명의 만화 강사 조니와 줄리아가 등장합니다. 게임은 MediaPipe를 통해 얼굴 움직임을 추적하고, 동기화 횟수를 집계하며, 모바일 기기에도 적응합니다. 이 프로젝트는 무료로 사용할 수 있으며, 선택적으로 음악을 추가할 수 있습니다.
Biorg의 R&D 개발자 알버트 스테파니안은 자신들의 안티 사기 비디오 식별 시스템에 사용된 얼굴 추적 기술이 움직임 추적기로도 사용될 수 있다는 것을 깨닫고 브라우저 기반 목 운동 게임을 만들었습니다. '조니와 줄리아'라는 이름의 이 게임은 MediaPipe Face Mesh 라이브러리를 사용하여 얼굴의 주요 지점을 감지하고 실시간으로 머리 회전 각도를 계산합니다. 사용자는 30개의 무작위로 생성된 동작을 수행하며 화면의 강사(남성용 조니, 여성용 줄리아, 성별은 face-api.js로 감지)를 따라 합니다. 시스템은 예상 동작 시간과 실제 지연 시간을 비교하여 사용자의 동기화를 점수화하고, 백분율 점수와 함께 격려하는 피드백을 제공합니다. 개발자는 처음에 모바일 호환성 문제에 직면했지만, 화면 크기 대신 기기 방향 및 터치 이벤트를 통해 모바일 기기를 감지하여 해결했습니다. 인터페이스는 세로 및 가로 방향에 맞게 조정되며, 사용자와 강사 창이 그에 따라 배치됩니다. 일부 사용자가 배경 음악과 함께 더 리드미컬하게 움직이는 것을 관찰한 후 음악 재생이 추가되었으며, 선택된 트랙의 템포는 약 140 BPM입니다. 전체 추적 라이브러리는 외부 의존성을 피하기 위해 로컬로 호스팅되며, 프로젝트는 무료로 이용할 수 있습니다.
출처: Habr — хаб ML —
원문
