ChartNet van MIT: AI leren grafieken begrijpen met een dataset van miljoen schaal
IBM
Alibaba/Qwen
Google/DeepMind
OpenAI
Hugging Face
MIT en IBM Research introduceerden ChartNet, een multimodale dataset van 1,7 miljoen voorbeelden om AI te trainen in het begrijpen van grafieken. Kleine modellen die zijn fijngestemd op ChartNet concurreren met of presteren beter dan grote modellen zoals GPT-4o bij grafiekbegripstaken.
Onderzoekers van MIT en IBM Research hebben ChartNet gecreëerd, een grootschalige multimodale dataset voor het begrijpen van grafieken. Het bevat 1,7 miljoen voorbeelden gegenereerd uit 150.000 unieke grafieken door Python-code te herstellen en augmentaties toe te passen om diverse visualisaties te maken met behulp van zes bibliotheken (Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal, Plotnine) en 24 grafiektypen. De dataset ondersteunt meerdere taken: grafiek-naar-code, grafiek-naar-tabel, grafiek-naar-tekst en grafiek-vraag-antwoord met keten-van-gedachte redenering. Kwaliteitscontrole omvat automatische filtering (77% code-uitvoeringssucces) en handmatige verificatie van 3.157 willekeurige grafieken. Het finetunen van kleine visuele-taalmodelen (bijv. Granite-Vision-3.3-2B) op ChartNet levert resultaten op die concurrerend zijn met of beter dan GPT-4o op verschillende benchmarks. De dataset bevat ook een veiligheidsdeelverzameling van 7.600 voorbeelden voor gevoelige onderwerpen.
Bron: Habr — хаб NLP —
origineel