MIT의 ChartNet: AI가 차트를 이해하도록 가르치는 백만 규모 데이터셋

MIT와 IBM 연구진이 차트 이해를 위한 대규모 멀티모달 데이터셋 ChartNet을 구축했습니다. 이 데이터셋은 150,000개의 고유 차트에서 파이썬 코드를 복구하고 증강 기법을 적용하여 6개의 라이브러리(Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal, Plotnine)와 24개의 차트 유형으로 다양한 시각화를 생성한 170만 개의 예시를 포함합니다. ChartNet은 차트-코드, 차트-테이블, 차트-텍스트, 그리고 생각의 사슬 추론을 포함한 차트 질의응답 등 여러 작업을 지원합니다. 품질 관리는 자동 필터링(77%의 코드 실행 성공률)과 3,157개의 무작위 차트에 대한 수동 검증을 포함합니다. Granite-Vision-3.3-2B와 같은 소형 비전-언어 모델을 ChartNet으로 미세 조정한 결과, 여러 벤치마크에서 GPT-4o와 경쟁하거나 능가하는 성능을 보였습니다. 데이터셋에는 민감한 주제에 대한 안전 하위 집합(7,600개 예시)도 포함되어 있습니다.