ChartNet từ MIT: Dạy AI hiểu biểu đồ với bộ dữ liệu triệu mẫu

Các nhà nghiên cứu từ MIT và IBM Research đã tạo ra ChartNet, một bộ dữ liệu đa phương thức quy mô lớn dành cho việc hiểu biểu đồ. Bộ dữ liệu này chứa 1,7 triệu ví dụ được sinh ra từ 150.000 biểu đồ duy nhất bằng cách khôi phục mã Python và áp dụng các kỹ thuật tăng cường để tạo ra các hình ảnh trực quan đa dạng sử dụng sáu thư viện (Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal, Plotnine) và 24 loại biểu đồ. Bộ dữ liệu hỗ trợ nhiều tác vụ: từ biểu đồ sang mã, từ biểu đồ sang bảng, từ biểu đồ sang văn bản, và hỏi đáp về biểu đồ với lý luận chuỗi suy nghĩ. Kiểm soát chất lượng bao gồm lọc tự động (77% mã thực thi thành công) và xác minh thủ công 3.157 biểu đồ ngẫu nhiên. Việc tinh chỉnh các mô hình ngôn ngữ thị giác nhỏ (ví dụ: Granite-Vision-3.3-2B) trên ChartNet cho kết quả cạnh tranh hoặc vượt trội so với GPT-4o trên một số điểm chuẩn. Bộ dữ liệu cũng bao gồm một tập con an toàn gồm 7.600 ví dụ về các chủ đề nhạy cảm.