2000 Identifizierungen pro Sekunde: So wählt man die richtige Tabelle in einem Dokument ohne neuronale Netze

Smart Engines hat ein Verfahren entwickelt, um anhand mehrerer tabellenähnlicher Bereiche auf einem Dokument die richtige Tabelle ohne den Einsatz neuronaler Netze zu identifizieren. Das System erkennt zunächst potenzielle Tabellenbereiche und wandelt jeden Bereich dann in eine eindimensionale Zeichenfolge um, die sowohl die geometrische Struktur als auch den Textinhalt kodiert. Dies geschieht durch Projektion vertikaler Linien und OCR-Wörter auf die X-Achse, wobei Positionen als Zeichen für Linienqualität, Textmarker oder leere Punkte markiert und zu einer kompakten Signatur zusammengeführt werden. Die Identifikationsaufgabe reduziert sich dann darauf, diese Zeichenfolge mit regulären Ausdrücken abzugleichen, die die erwartete Tabellenstruktur beschreiben. Es werden zwei Szenarien verwendet: die Identifikation fester Strukturen für standardisierte Formulare wie Rechnungen und die Identifikation charakteristischer Spalten für Tabellen, bei denen die Spaltenreihenfolge variieren kann. Tests an russischen Dokumenten (Akten und Rechnungen) zeigten eine Verringerung der Fehler bei der Zeilen- und Spaltenerkennung um bis zu 35,87 % bzw. 26,36 %, wobei die Genauigkeit der Zellenerkennung um bis zu 9,97 % verbesserte. Der Algorithmus läuft in 0,49 ms pro Bereich auf ARMv8 64-Bit, also etwa 2000 Prüfungen pro Sekunde, verglichen mit 1-3 Sekunden pro Kandidat bei einem LLM-Ansatz mit Llama 3 auf einem PC. Die Methode wurde auch zur Klassifizierung von Dokumenttypen basierend auf der Tabellenstruktur angewendet und erreichte für fünf von sieben Typen eine Präzision und einen Rückruf von 100 %, wobei sie eine Baseline-Klassifizierung auf Feldebene übertraf.