ChartNet vom MIT: KI das Verstehen von Diagrammen mit einem Millionen-Datensatz beibringen
IBM
Alibaba/Qwen
Google/DeepMind
OpenAI
Hugging Face
Das MIT und IBM Research haben ChartNet vorgestellt, einen multimodalen Datensatz mit 1,7 Millionen Beispielen, um Künstlicher Intelligenz beizubringen, Diagramme zu verstehen. Kleine Modelle, die auf ChartNet feinabgestimmt wurden, können mit großen Modellen wie GPT-4o bei Aufgaben zum Diagrammverständnis konkurrieren oder diese übertreffen.
Forscher von MIT und IBM Research haben ChartNet entwickelt, einen groß angelegten multimodalen Datensatz für das Verständnis von Diagrammen. Er enthält 1,7 Millionen Beispiele, die aus 150.000 einzigartigen Diagrammen generiert wurden, indem Python-Code wiederhergestellt und Erweiterungen (Augmentierungen) angewendet wurden, um mit sechs Bibliotheken (Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal, Plotnine) und 24 Diagrammtypen vielfältige Visualisierungen zu erzeugen. Der Datensatz unterstützt mehrere Aufgaben: Diagramm-zu-Code, Diagramm-zu-Tabelle, Diagramm-zu-Text sowie Diagramm-Frage-Antwort (Question Answering, QA) mit Kettengedankenlogik (Chain-of-Thought Reasoning). Die Qualitätskontrolle umfasst automatische Filterung (77% Code-Ausführungserfolg) und manuelle Überprüfung von 3.157 zufälligen Diagrammen. Das Feintuning kleiner visueller Sprachmodelle (Vision Language Models, VLMs) (z.B. Granite-Vision-3.3-2B) auf ChartNet liefert Ergebnisse, die mit GPT-4o in mehreren Benchmarks konkurrieren oder diese übertreffen. Der Datensatz enthält auch einen Sicherheitsteil (Safety Subset) mit 7.600 Beispielen zu sensiblen Themen.
Quelle: Habr — хаб NLP —
Original