MITのChartNet：100万規模のデータセットでAIにチャート理解を教える

MITとIBMリサーチの研究者らは、チャート理解のための大規模マルチモーダルデータセット「ChartNet」を開発しました。このデータセットは、15万個のユニークなチャートからPythonコードを復元し、6つのライブラリ（Matplotlib、Seaborn、Plotly、Vega-Altair、Pygal、Plotnine）と24種類のチャートタイプを用いて多様な可視化を作成するための拡張を適用することで生成された、170万のサンプルを含みます。このデータセットは、チャートからコード、チャートからテーブル、チャートからテキスト、そして連鎖思考推論を用いたチャート質問応答（QA）といった複数のタスクをサポートしています。品質管理には、自動フィルタリング（77%のコード実行成功率）と、3157個のランダムチャートに対する手動検証が含まれます。ChartNetで小規模ビジュアル言語モデル（例：Granite-Vision-3.3-2B）を微調整すると、いくつかのベンチマークでGPT-4oと同等またはそれを上回る結果が得られます。データセットには、センシティブなトピックに関する7600のサンプルからなる安全サブセットも含まれています。