ChartNet du MIT : apprendre à l'IA à comprendre les graphiques avec un jeu de données à l'échelle du million

Des chercheurs du MIT et d'IBM Research ont créé ChartNet, un jeu de données multimodal à grande échelle pour la compréhension de graphiques. Il contient 1,7 million d'exemples générés à partir de 150 000 graphiques uniques en récupérant le code Python et en appliquant des augmentations pour créer des visualisations diverses à l'aide de six bibliothèques (Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal, Plotnine) et 24 types de graphiques. Le jeu de données prend en charge plusieurs tâches : graphique-vers-code, graphique-vers-tableau, graphique-vers-texte, et questions-réponses sur les graphiques avec raisonnement en chaîne de pensée. Le contrôle qualité inclut un filtrage automatique (77 % de succès d'exécution du code) et une vérification manuelle de 3 157 graphiques aléatoires. L'ajustement fin de petits modèles de langage et de vision (par exemple, Granite-Vision-3.3-2B) sur ChartNet donne des résultats compétitifs ou supérieurs à GPT-4o sur plusieurs références. Le jeu de données comprend également un sous-ensemble de sécurité de 7 600 exemples pour des sujets sensibles.