Bagaimana Lenta Tech Mencari Label Harga pada Video dari Robot Bergerak: Hasil Hackathon Analisis Video
Ultralytics
PaddleOCR (Baidu)
OpenCV
EasyOCR (Jaided AI)
Tesseract OCR (Google)
Tim Lenta Tech (merek IT dari Lenta Group) berbagi pengalaman mereka mengadakan hackathon untuk mengenali label harga dari video yang direkam oleh robot bergerak. Artikel ini menjelaskan pipeline solusi: mulai dari mendeteksi label harga menggunakan YOLO hingga mengekstrak data melalui OCR, kode QR, dan katalog. Kesimpulan utama: kualitas dicapai bukan oleh satu model saja, tetapi dengan penanganan yang tepat dari urutan frame (pelacakan, memilih frame terbaik) dan menggabungkan OCR, QR, dan katalog.
Tim Lenta Tech, merek IT dari Lenta Group, menyelenggarakan hackathon di tahun 2025 bernama Lenta Tech Life Hack yang berfokus pada pengenalan label harga dari rekaman video yang diambil oleh robot yang bergerak di sepanjang rak supermarket. Tugas ini ternyata lebih menantang daripada deteksi persegi panjang dan OCR sederhana, karena adanya gerakan kabur, silau, berbagai sudut pandang, halangan parsial, dan beragam format label harga. Para peserta diberikan rekaman video dari berbagai zona toko (alkohol, susu, madu, dll.) dengan pergerakan berhenti dan terus menerus; keluarannya harus berupa file CSV dengan kolom: nama produk, harga, barcode, SKU, tanggal cetak, zona tampilan, koordinat, stempel waktu, dan data dari kode QR. Batasan termasuk hanya menggunakan model sumber terbuka lokal, tanpa layanan eksternal online atau API cloud, dan optimalisasi untuk rknn int8 dianjurkan. Metrik evaluasi: proporsi label harga yang dikenali dengan akurasi minimal 80%. Putaran pertama menunjukkan bahwa masalahnya tidak hanya terletak pada deteksi tetapi juga pada pembacaan yang benar dan penataan data. Solusi yang berhasil menggunakan pipeline berjenjang: pelacakan dan pemilihan bingkai terbaik (paling tajam, terbesar, paling menghadap ke depan), deteksi (terutama YOLO/Ultralytics), koreksi dan super-resolusi, OCR per zona (PaddleOCR, EasyOCR, Tesseract) dengan validasi bidang melalui ekspresi reguler dan aturan bisnis, serta pemulihan data dari QR/kode batang dan katalog dengan pencarian fuzzy. Pada tahap akhir, kualitas rata-rata meningkat sebesar 4,47 poin persentase, dengan peningkatan maksimum +21,27 dan +19,48 poin persentase, yang dicapai melalui pelacakan, penilaian bingkai terbaik, pemulihan QR, pencarian katalog, pemeriksaan kewajaran, dan pengemasan Docker. Pendekatan yang menang adalah arsitektur berjenjang, bukan model tunggal. Stack yang berkinerja baik meliputi: YOLO/Ultralytics, OpenCV, PaddleOCR, EasyOCR, Tesseract, QR/kode batang, katalog/SKU/pencarian fuzzy, pelacakan, dan pemilihan bingkai terbaik. Pendekatan 'temukan label harga lalu cari tahu bagaimana caranya' tidak berhasil—tanpa memperhitungkan struktur label harga dan bingkai berulang.
Sumber: Habr — хаб ИИ —
asli