Lenta Techが移動ロボットの映像から価格タグを探す方法：ビデオ分析ハッカソンの結果

Lenta Groupの技術ブランドであるLenta Techチームは、2025年に「Lenta Tech Life Hack」と題したハッカソンを開催した。テーマは、スーパーマーケットの棚に沿って移動するロボットが撮影した映像から価格タグを認識するというものだ。単純な矩形検出と光学文字認識(OCR)だけでは済まない、モーションブラー、反射光、多様な角度、部分的な遮蔽、そして価格タグのフォーマットの多様性により、想定以上に難易度の高い課題であることが判明した。 参加者には、店内の各ゾーン(酒類、乳製品、蜂蜜など)で撮影された、停止と連続移動の両方を含む映像が提供された。出力は、商品名、価格、バーコード、SKU(在庫管理単位)、印字日、陳列ゾーン、座標、タイムスタンプ、そしてQRコードから取得したデータといった項目を持つCSVファイルでなければならなかった。制約として、ローカルで動作するオープンソースモデルのみの使用が認められ、外部のオンラインサービスやクラウドAPI(アプリケーション・プログラミング・インターフェース)の利用は禁止され、rknn int8向けの最適化も推奨された。評価指標は、80%以上の精度で認識できた価格タグの割合とされた。 第1ラウンドでは、課題は検出だけでなく、正確な読み取りとデータの構造化にもあることが明らかになった。成功したソリューションは、いずれもカスケード型のパイプラインを採用していた。すなわち、トラッキングと最良フレームの選定(最もシャープで、最も大きく、最も正面を向いているフレーム)、検出(主にYOLO/Ultralitycsを使用)、歪み補正と超解像処理、正規表現とビジネスルールによるフィールド検証を伴うゾーン別OCR(PaddleOCR、EasyOCR、Tesseractを使用)、そしてQRコード・バーコードおよびカタログからのファジーマッチングによるデータ復元、という流れである。 最終ラウンドでは、平均品質が4.47ポイント向上し、最大では+21.27ポイント、+19.48ポイントという向上が見られた。これは、トラッキング、最良フレームのスコアリング、QRコードによるデータ復元、カタログ検索、整合性チェック、そしてDockerによるパッケージ化によって達成されたものだ。優勝したアプローチは、単一のモデルではなくカスケード型のアーキテクチャだった。有効だったスタックとしては、YOLO/Ultralytics、OpenCV、PaddleOCR、EasyOCR、Tesseract、QRコード・バーコード処理、カタログ/SKU/ファジー検索、トラッキング、そして最良フレーム選定が挙げられる。「とりあえず価格タグを見つけて、後はなんとかする」というアプローチは、価格タグの構造や繰り返し出現するフレームを考慮しない限り、うまくいかなかった。