Miten petostentunnistus synnytti Johnny ja Julia -nimisen selainharjoituspelin

Albert Stepanyan, Biorgin tutkimus- ja kehitysinsinööri, loi selaimessa toimivan niskaharjoituspelin huomattuaan, että heidän petostentorjuntaan tarkoitetussa videotunnistusjärjestelmässään käytetty kasvojenseurantatekniikka voisi toimia myös liikkeentunnistimena. Pelin nimi on 'Johnny and Julia', ja se käyttää MediaPipe Face Mesh -kirjastoa tunnistamaan kasvojen avainpisteet ja laskemaan pään kiertokulmat reaaliajassa. Käyttäjät suorittavat 30 satunnaisesti generoitua liikettä seuraten ruudulla olevaa ohjaajaa (Johnny miehille ja Julia naisille; sukupuoli tunnistetaan face-api.js:n avulla). Järjestelmä pisteyttää käyttäjän synkronoinnin vertaamalla odotettuja liikkeen aikoja todellisiin viiveisiin, tuottaen prosenttiosuuden ja kannustavaa palautetta. Kehittäjä kohtasi aluksi mobiiliyhteensopivuusongelmia, jotka ratkesivat tunnistamalla mobiililaitteet laitteen suunnan ja kosketustapahtumien perusteella ruudun koon sijaan. Käyttöliittymä mukautuu pysty- ja vaakasuuntaan, ja käyttäjän sekä ohjaajan ikkunat sijoitetaan sen mukaan. Musiikin toisto lisättiin sen jälkeen, kun havaittiin, että jotkut käyttäjät liikkuivat rytmikkäämmin taustamusiikin kanssa; valitun kappaleen tempo on noin 140 lyöntiä minuutissa. Koko seurantakirjasto on isännöity paikallisesti ulkoisten riippuvuuksien välttämiseksi, ja projekti on vapaasti saatavilla.