Wie Lenta Tech Preisschilder auf Video eines fahrenden Roboters suchte: Ergebnisse eines Videoanalyse-Hackathons

Das Lenta Tech Team, die IT-Marke der Lenta Group, hat 2025 einen Hackathon namens Lenta Tech Life Hack durchgeführt, der sich auf die Erkennung von Preisschildern aus Videos konzentrierte, die von einem Roboter aufgenommen wurden, der entlang von Regalen in Supermärkten fährt. Die Aufgabe erwies sich als komplexer als die einfache Erkennung von Rechtecken und optischer Zeichenerkennung (Optical Character Recognition, OCR), da sie durch Unschärfe, Spiegelungen, unterschiedliche Winkel, teilweise Überlappungen und viele Preisschildformate erschwert wurde. Den Teilnehmenden wurden Videoaufnahmen aus verschiedenen Bereichen des Geschäfts (Alkohol, Milchprodukte, Honig usw.) mit Stopps und kontinuierlicher Bewegung zur Verfügung gestellt; das Ergebnis sollte eine CSV-Datei mit den Feldern sein: Produktname, Preise, Barcode, Bestandseinheit (Stock Keeping Unit, SKU), Druckdatum, Auslagezone, Koordinaten, Zeitstempel und Daten aus dem QR-Code. Einschränkungen – nur lokale Open-Source-Modelle, keine externen Online-Dienste oder Cloud-Anwendungsprogrammierschnittstellen (Application Programming Interface, API), eine Optimierung auf rknn int8 wurde begrüßt. Bewertungsmetrik: Anteil der Preisschilder, die mit einer Genauigkeit von mindestens 80% erkannt wurden. Die erste Runde zeigte, dass das Problem nicht nur in der Erkennung, sondern auch im korrekten Auslesen und Strukturieren der Daten lag. Erfolgreiche Lösungen nutzten eine kaskadierte Pipeline: Tracking und Auswahl des besten Frames (beste Schärfe, Größe, Frontalität), Erkennung (meist YOLO/Ultralytics), Rektifikation und Superauflösung (Super-Resolution, SR), zonale OCR (PaddleOCR, EasyOCR, Tesseract) mit Feldüberprüfung durch reguläre Ausdrücke und Geschäftsregeln sowie Datenwiederherstellung aus QR-/Barcodes und einem Katalog mit Fuzzy-Matching. Im Finale stieg die durchschnittliche Qualität um 4,47 Prozentpunkte, die maximalen Zuwächse lagen bei +21,27 und +19,48 Prozentpunkten durch Tracking, Best-Frame-Bewertung, QR-Wiederherstellung, Katalogsuchen, Plausibilitätsprüfungen und Docker-Verpackung. Am besten schnitt eine kaskadierte Architektur ab, nicht ein einzelnes Modell. Die Stacks, die Ergebnisse lieferten: YOLO/Ultralytics, OpenCV, PaddleOCR, EasyOCR, Tesseract, QR-/Barcodes, Katalog/SKU/Fuzzy-Suche, Tracking und Best-Frame-Auswahl. Der Ansatz „Finde das Preisschild und dann irgendwie weiter“ funktionierte nicht – ohne Berücksichtigung der Struktur des Preisschilds und der wiederholten Frames.