Des machines qui ne savent pas compter mais devinent les nombres

L'article explore pourquoi les grands modèles de langage (LLM) peuvent prédire des quantités numériques alors qu'ils ne comprennent pas vraiment les nombres. Contrairement aux outils de régression traditionnels comme XGBoost, qui utilisent une approche par arbres de décision, les LLM traitent les nombres comme des chaînes de caractères, les divisant en jetons de manière arbitraire. Dans une expérience de 2024 menée par des chercheurs de l'Université de l'Arizona et de l'Université technique de Cluj-Napoca, des LLM comme GPT-4 et Claude 3 ont reçu un tableau d'exemples et ont dû prédire une valeur manquante. Sans aucun ajustement supplémentaire, ils ont obtenu des performances comparables à celles des programmes spécialisés, et sur la fonction Friedman #2, Claude 3 a même surpassé cinq de ces outils. Fait intéressant, l'augmentation du nombre d'exemples a amélioré la précision, ce qui ne peut pas être attribué à la chance. Cet apprentissage contextuel est remarquable car il ne nécessite pas de formation supplémentaire. Cependant, les LLM sont peu fiables : leurs prédictions varient avec l'ordre des lignes et la précision des nombres, et ils n'ont pas de plafond, donnant parfois des réponses totalement incorrectes. Bien qu'ils soient d'un ordre de grandeur plus coûteux par prédiction que les outils classiques, les LLM excellent lorsque les données sont rares, contiennent du texte ou lorsque les noms de colonnes ont une signification. De nouveaux modèles spécialisés comme TabPFN, publié dans Nature au début de 2025, surpassent les LLM sur des tableaux purement numériques avec de petites données, prenant moins de trois secondes pour battre une combinaison de méthodes classiques qui a fonctionné pendant quatre heures. La recommandation est de n'utiliser les LLM que lorsqu'il y a peu de données ou un texte significatif, et de les considérer comme un complément plutôt qu'un remplacement des outils classiques.