MIT 的 ChartNet：用百万级数据集教 AI 理解图表

来自麻省理工学院和IBM研究院的研究人员创建了ChartNet，这是一个用于图表理解的大规模多模态数据集。该数据集包含170万个样本，这些样本通过恢复Python代码并应用数据增强技术，从15万个独特图表中生成，使用六个库（Matplotlib、Seaborn、Plotly、Vega-Altair、Pygal、Plotnine）和24种图表类型创建多样化的可视化效果。数据集支持多项任务：图表到代码、图表到表格、图表到文本，以及包含思维链推理的图表问答。质量控制包括自动筛选（代码执行成功率达77%）和人工验证3157个随机图表。在ChartNet上对小型视觉语言模型（如Granite-Vision-3.3-2B）进行微调，在多个基准测试上取得了与GPT-4o相媲美或更优的结果。该数据集还包含一个包含7600个样本的安全子集，用于处理敏感话题。