LLaVA

Apprendre à l'IA à comprendre les graphiques : analyse du nouveau dataset ChartNet du MIT

Des chercheurs du MIT et d'IBM Research ont présenté un dataset multimodal appelé ChartNet pour former et tester des modèles sur l'analyse de graphiques. Le dataset comprend 1,7 million d'exemples synthétiques couvrant 24 types de visualisations, avec vérification automatique et sous-ensembles validés manuellement. Le fine-tuning de modèles VLM ouverts sur ChartNet a permis à des modèles de 2 à 7 milliards de paramètres de rivaliser avec de grands systèmes, dépassant parfois GPT-4o.

IBM Alibaba/Qwen Google/DeepMind OpenAI Hugging Face