反欺诈检测如何催生了约翰尼和朱莉娅:一个浏览器锻炼故事
Google/DeepMind
Biorg 的一位研发开发人员将他们的反欺诈面部追踪功能转化为一个基于浏览器的颈部锻炼游戏,配有两个卡通教练,约翰尼和朱莉娅。该游戏通过 MediaPipe 追踪面部动作,计算同步次数,并适配移动设备。该项目免费使用,可选择是否播放音乐。
Biorg的研发开发人员Albert Stepanyan在意识到他们反欺诈视频识别系统中使用的面部追踪技术也可以用作运动追踪器后,创建了一款基于浏览器的颈部锻炼游戏。这款名为“Johnny and Julia”的游戏使用MediaPipe Face Mesh库来检测面部关键点并实时计算头部旋转角度。用户需要执行30个随机生成的动作,跟随屏幕上的教练(男教练为Johnny,女教练为Julia,性别通过face-api.js检测)。系统通过比较预期运动时间与实际延迟来评估用户的同步性,产生一个百分比分数并附上鼓励性反馈。开发人员最初遇到了移动端兼容性问题,通过检测设备方向(而非屏幕尺寸)和触摸事件来解决,而非依靠屏幕尺寸。界面适应垂直和水平方向,用户和教练窗口相应地定位。在观察到一些用户在有背景音乐时动作更有节奏感后,添加了音乐播放功能;所选曲目节奏约为每分钟140拍。整个追踪库都托管在本地以避免外部依赖,该项目可自由访问。
来源: Habr — хаб ML —
原文
