Google présente TabFM : un modèle de fondation pour données tabulaires avec apprentissage zéro-shot

Google Research a présenté TabFM, un nouveau modèle fondamental spécialement conçu pour la classification et la régression sur données tabulaires. Le modèle utilise une approche d'apprentissage en contexte (in-context learning, ICL), traitant l'ensemble du jeu de données comme une requête unifiée pour interpréter les relations entre colonnes et lignes au moment de l'inférence, éliminant ainsi le besoin de réglage des hyperparamètres et d'ingénierie des caractéristiques. TabFM synthétise les forces d'architectures telles que TabPFN et TabICL dans un design hybride novateur pour gérer la nature bidimensionnelle et non ordonnée des tableaux. Entraîné exclusivement sur des centaines de millions de jeux de données synthétiques générés à l'aide de modèles causaux structurels (structural causal models, SCM), TabFM généralise bien à des données réelles inédites. Évalué sur le benchmark TabArena comprenant 38 jeux de données de classification et 13 de régression, il surpasse systématiquement des algorithmes supervisés intensément réglés comme XGBoost. TabFM sera intégré dans Google BigQuery, permettant aux utilisateurs d'effectuer des tâches avancées de régression et de classification avec une simple commande SQL AI.PREDICT.