TabFM contre XGBoost : 5 faits absents de l'annonce

L'article de Sergey Proshchaev, Tech Lead chez FinTech & E-commerce, traite de TabFM, un modèle publié par Google Research le 30 juin 2026. TabFM lit un tableau comme un contexte unique, utilisant des poids figés et l'apprentissage en contexte, éliminant ainsi le besoin d'entraînement sur vos données. Il succède à TimesFM pour les séries temporelles et s'inscrit dans la lignée de TabPFN (2022). Le modèle a été pré-entraîné sur des centaines de millions de jeux de données synthétiques générés par des modèles causaux structurels, et non sur des données réelles d'entreprise. L'article souligne que l'interface scikit-learn a des limites par défaut de 500 caractéristiques et 100 lignes de contexte, donc le modèle échantillonne si le tableau est plus grand. Des benchmarks indépendants menés par Yash Raj Pandey montrent que TabFM surpasse XGBoost optimisé sur des tableaux petits et moyens, mais certains avantages disparaissent lorsque l'on considère plusieurs graines aléatoires. L'article note des problèmes de mémoire : les 22,75 Go de mémoire vidéo annoncés étaient en grande partie un artefact de l'allocateur XLA, l'utilisation réelle se situant autour de 16,95 Go ; l'activation du bf16 et du découpage en morceaux des activations dans PyTorch a réduit la mémoire à 3-7 Go. L'auteur suggère un protocole d'évaluation approprié avec plusieurs graines et des budgets égaux pour l'optimisation des hyperparamètres. L'article conclut que bien que TabFM soit prometteur, son comportement sur des tableaux d'entreprise désordonnés et la dérive de distribution ne sont pas caractérisés, donc une validation sur vos propres données est essentielle.