Wie Lenta Tech Preisschilder auf Video eines fahrenden Roboters suchte: Ergebnisse des Videoanalytik-Hackathons

Das Lenta Tech Team, die IT-Marke der Lenta Group, veranstaltete 2025 einen Hackathon namens Lenta Tech Life Hack, der sich auf die Erkennung von Preisschildern aus Videoaufnahmen konzentrierte, die von einem sich entlang der Regale in Supermärkten bewegenden Roboter aufgenommen wurden. Die Aufgabe erwies sich als anspruchsvoller als einfache Rechteckdetektion und Texterkennung (OCR), da Bewegungsunschärfe, Spiegelungen, wechselnde Blickwinkel, teilweise Verdeckungen und eine große Vielfalt an Preisschildformaten auftraten. Den Teilnehmern wurden Videoaufnahmen aus verschiedenen Filialbereichen (Alkohol, Milchprodukte, Honig usw.) mit sowohl Stopps als auch kontinuierlicher Bewegung zur Verfügung gestellt; die Ausgabe musste eine CSV-Datei mit den Feldern Produktname, Preise, Barcode, Artikelnummer (SKU), Druckdatum, Anzeigebereich, Koordinaten, Zeitstempel und Daten aus QR-Codes sein. Zu den Einschränkungen gehörte die ausschließliche Verwendung lokaler Open-Source-Modelle, keine externen Online-Dienste oder Cloud-APIs, und die Optimierung für rknn int8 wurde empfohlen. Die Bewertungsmetrik war der Anteil der Preisschilder, die mit mindestens 80 % Genauigkeit erkannt wurden. Die erste Runde zeigte, dass das Problem nicht nur in der Detektion, sondern auch im korrekten Auslesen und in der Datenstrukturierung lag. Erfolgreiche Lösungen verwendeten eine kaskadierte Pipeline: Nachverfolgung und Auswahl des besten Einzelbildes (schärfstes, größtes, am stärksten von vorne aufgenommen), Detektion (meist YOLO/Ultralytics), Rektifikation und Superauflösung, zonale Texterkennung (PaddleOCR, EasyOCR, Tesseract) mit Feldvalidierung durch reguläre Ausdrücke und Geschäftsregeln sowie Datenwiederherstellung aus QR-/Barcodes und einem Katalog mit unscharfem Matching (Fuzzy-Suche). In der Endphase verbesserte sich die durchschnittliche Qualität um 4,47 Prozentpunkte, mit maximalen Steigerungen von +21,27 und +19,48 Prozentpunkten, erzielt durch Nachverfolgung, Bewertung des besten Einzelbildes, QR-Wiederherstellung, Katalogsuche, Plausibilitätsprüfungen und Docker-Paketierung. Der siegreiche Ansatz war eine kaskadierte Architektur und kein einzelnes Modell. Stapel, die gut abschnitten, umfassten: YOLO/Ultralytics, OpenCV, PaddleOCR, EasyOCR, Tesseract, QR-/Barcodes, Katalog/SKU/Fuzzy-Suche, Nachverfolgung und Auswahl des besten Einzelbildes. Der Ansatz „Finde ein Preisschild und dann klär das irgendwie“ funktionierte nicht – ohne Berücksichtigung der Preisschildstruktur und wiederholter Einzelbilder.