Lenta Tech tìm kiếm thẻ giá trên video từ robot di động như thế nào: Kết quả Hackathon Phân tích Video
Ultralytics
PaddleOCR (Baidu)
OpenCV
EasyOCR (Jaided AI)
Tesseract OCR (Google)
Nhóm Lenta Tech (thương hiệu CNTT của Tập đoàn Lenta) đã chia sẻ kinh nghiệm tổ chức một hackathon về nhận dạng thẻ giá từ video được ghi lại bởi một robot di động. Bài viết mô tả quy trình giải pháp: từ phát hiện thẻ giá bằng YOLO đến trích xuất dữ liệu qua OCR, mã QR và danh mục sản phẩm. Kết luận chính: chất lượng đạt được không phải nhờ một mô hình duy nhất mà nhờ xử lý đúng cách các chuỗi khung hình (theo dõi, chọn khung hình tốt nhất) và kết hợp OCR, QR và danh mục.
Команда Lenta Tech, IT-бренд группы Lenta, провела в 2025 году хакатон Lenta Tech Life Hack, посвященный распознаванию ценников с видео, снятого роботом, движущимся вдоль полок супермаркетов. Задача оказалась сложнее простого обнаружения прямоугольников и OCR из-за размытости движения, бликов, различных углов обзора, частичных перекрытий и большого разнообразия форматов ценников. Участникам были предоставлены видеозаписи из разных зон магазина (алкоголь, молочные продукты, мед и т.д.) как с остановками, так и с непрерывным движением; результатом должен был быть CSV-файл с полями: название продукта, цены, штрих-код, SKU, дата печати, зона выкладки, координаты, временная метка и данные из QR-кодов. Ограничения включали использование только локальных open-source моделей, без внешних онлайн-сервисов или облачных API, а также поощрялась оптимизация для rknn int8. Метрика оценки: доля ценников, распознанных с точностью не менее 80%. Первый раунд показал, что проблема заключается не только в обнаружении, но и в правильном чтении и структурировании данных. Успешные решения использовали каскадный пайплайн: трекинг и выбор наилучшего кадра (самый резкий, самый крупный, наиболее фронтальный), обнаружение (в основном YOLO/Ultralytics), коррекцию и суперразрешение, зональное OCR (PaddleOCR, EasyOCR, Tesseract) с валидацией полей с помощью регулярных выражений и бизнес-правил, а также восстановление данных из QR/штрих-кодов и каталога с нечетким сопоставлением. На финальном этапе среднее качество улучшилось на 4,47 процентных пункта, при этом максимальный прирост составил +21,27 и +19,48 процентных пункта, что было достигнуто благодаря трекингу, оценке наилучшего кадра, восстановлению QR, поиску по каталогу, проверкам на корректность и упаковке в Docker. Победивший подход представлял собой каскадную архитектуру, а не одну модель. Стеки, показавшие хорошие результаты, включали: YOLO/Ultralytics, OpenCV, PaddleOCR, EasyOCR, Tesseract, QR/штрих-коды, каталог/SKU/нечеткий поиск, трекинг и выбор наилучшего кадра. Подход 'найди ценник, а потом разберись как-нибудь' не сработал — без учета структуры ценника и повторяющихся кадров.
Nguồn: Habr — хаб ИИ —
bản gốc