ChartNet do MIT: Ensinando IA a Entender Gráficos com um Conjunto de Dados de Um Milhão de Exemplos

Pesquisadores do MIT e da IBM Research criaram o ChartNet, um conjunto de dados multimodal em larga escala para compreensão de gráficos. Ele contém 1,7 milhão de exemplos gerados a partir de 150 mil gráficos únicos, recuperando código Python e aplicando aumentações para criar visualizações diversas usando seis bibliotecas (Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal, Plotnine) e 24 tipos de gráficos. O conjunto de dados suporta múltiplas tarefas: gráfico-para-código, gráfico-para-tabela, gráfico-para-texto e perguntas e respostas sobre gráficos com raciocínio encadeado. O controle de qualidade inclui filtragem automática (77% de sucesso na execução de código) e verificação manual de 3.157 gráficos aleatórios. O ajuste fino de modelos de linguagem visual pequenos (por exemplo, Granite-Vision-3.3-2B) no ChartNet produz resultados competitivos ou superiores ao GPT-4o em vários benchmarks. O conjunto de dados também inclui um subconjunto de segurança de 7.600 exemplos para tópicos sensíveis.