ChartNet del MIT: Enseñando a la IA a entender gráficos con un conjunto de datos de un millón de ejemplos

Investigadores del MIT e IBM Research crearon ChartNet, un conjunto de datos multimodal a gran escala para la comprensión de gráficos. Contiene 1,7 millones de ejemplos generados a partir de 150 000 gráficos únicos mediante la recuperación de código Python y la aplicación de aumentos para crear visualizaciones diversas utilizando seis bibliotecas (Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal, Plotnine) y 24 tipos de gráficos. El conjunto de datos admite múltiples tareas: de gráfico a código, de gráfico a tabla, de gráfico a texto y preguntas y respuestas sobre gráficos con razonamiento de cadena de pensamiento. El control de calidad incluye filtrado automático (77 % de ejecución exitosa del código) y verificación manual de 3157 gráficos aleatorios. El ajuste fino de modelos de lenguaje visual pequeños (por ejemplo, Granite-Vision-3.3-2B) en ChartNet produce resultados competitivos o superiores a GPT-4o en varios puntos de referencia. El conjunto de datos también incluye un subconjunto de seguridad de 7600 ejemplos para temas sensibles.