2000 nhận dạng mỗi giây: cách chọn đúng bảng trên tài liệu mà không cần mạng nơ-ron

Smart Engines đã phát triển một phương pháp xác định bảng chính xác trong số nhiều vùng giống bảng trên tài liệu mà không sử dụng mạng nơ-ron. Hệ thống đầu tiên phát hiện các vùng bảng tiềm năng, sau đó chuyển đổi mỗi vùng thành một chuỗi một chiều mã hóa cả cấu trúc hình học và nội dung văn bản của nó. Điều này được thực hiện bằng cách chiếu các đường thẳng đứng và các từ OCR lên trục X, đánh dấu vị trí dưới dạng chữ số chất lượng đường kẻ, dấu hiệu văn bản hoặc dấu chấm trống, và hợp nhất chúng thành một chữ ký nhỏ gọn. Nhiệm vụ xác định sau đó được giảm xuống việc kiểm tra chuỗi này với các biểu thức chính quy mô tả cấu trúc bảng mong đợi. Hai kịch bản được sử dụng: xác định cấu trúc cố định cho các biểu mẫu chuẩn hóa như hóa đơn, và xác định cột đặc trưng cho các bảng có thể thay đổi thứ tự cột. Các thử nghiệm trên tài liệu tiếng Nga (biên bản và hóa đơn) cho thấy giảm lỗi phát hiện hàng và cột lên tới 35,87% và 26,36% tương ứng, với độ chính xác nhận dạng ô được cải thiện lên tới 9,97%. Thuật toán chạy trong 0,49 ms cho mỗi vùng trên ARMv8 64-bit, khoảng 2000 lần kiểm tra mỗi giây, so với 1-3 giây cho mỗi ứng viên khi sử dụng phương pháp LLM với Llama 3 trên PC. Phương pháp này cũng được áp dụng để phân loại loại tài liệu dựa trên cấu trúc bảng, đạt độ chính xác và độ thu hồi 100% cho năm trong bảy loại, vượt trội so với phương pháp phân loại dựa trên trường cơ bản.