Lenta Tech etsi hintalappuja liikkuvan robotin videolta: Videoanalytiikan hackathonin tulokset

Lenta Tech -tiimi, Lenta Groupin IT-brändi, järjesti vuonna 2025 hackathonin nimeltä Lenta Tech Life Hack, jonka keskiössä oli hintalappujen tunnistaminen videokuvasta, jota kuvasi hyllyjen välissä liikkuva robotti supermarketeissa. Tehtävä osoittautui haastavammaksi kuin pelkkä suorakulmioiden tunnistus ja optinen merkintunnistus (OCR), sillä mukana oli liike-epäterävyyttä, heijastuksia, vaihtelevia kuvakulmia, osittaista peittymistä ja hyvin monenlaisia hintalappuformaatteja. Osallistujille annettiin videotallenteita eri myymäläalueilta (alkoholi, maitotuotteet, hunaja jne.) sekä pysähdyksin että jatkuvassa liikkeessä; tuloksena piti olla CSV-tiedosto, jossa oli kentät: tuotenimi, hinnat, viivakoodi, SKU-koodi (varastointiyksikkötunnus), painopäivämäärä, esittelyalue, koordinaatit, aikaleima sekä QR-koodeista saatu data. Rajoituksina oli, että käytössä sai olla vain paikallisia avoimen lähdekoodin malleja, ei ulkoisia verkkopalveluita tai pilvi-API-rajapintoja (Application Programming Interface), ja optimointia rknn int8 -muotoon suositeltiin. Arviointimittarina oli niiden hintalappujen osuus, jotka tunnistettiin vähintään 80 prosentin tarkkuudella. Ensimmäinen kierros osoitti, että ongelma ei ollut vain havaitsemisessa, vaan myös oikeassa lukemisessa ja tiedon jäsentämisessä. Onnistuneet ratkaisut käyttivät ketjutettua putkea: seuranta ja parhaan kuvaruudun valinta (terävin, suurin, suoraan edestä kuvattu), havaitseminen (enimmäkseen YOLO/Ultralytics), oikaisu ja superresoluutio, vyöhykekohtainen OCR (PaddleOCR, EasyOCR, Tesseract) kenttien validoinnilla säännöllisten lausekkeiden ja liiketoimintasääntöjen avulla, sekä tiedon palautus QR- ja viivakoodeista ja tuoteluettelosta sumealla haulla (fuzzy matching). Loppuvaiheessa keskimääräinen laatu parani 4,47 prosenttiyksikköä, ja parhaimmillaan parannukset olivat +21,27 ja +19,48 prosenttiyksikköä, mikä saavutettiin seurannan, parhaan kuvaruudun pisteytyksen, QR-palautuksen, luettelohaun, järkevyystarkistusten ja Docker-paketoinnin avulla. Voittanut lähestymistapa oli ketjutettu arkkitehtuuri yhden mallin sijaan. Hyvin toimineita teknologiapinoja olivat: YOLO/Ultralytics, OpenCV, PaddleOCR, EasyOCR, Tesseract, QR-koodit/viivakoodit, luettelo-/SKU-/sumea haku sekä seuranta ja parhaan kuvaruudun valinta. Lähestymistapa "etsi hintalappu ja sitten keksi jotenkin loput" ei toiminut — ilman hintalapun rakenteen ja toistuvien kuvaruutujen huomioimista.