Google stellt TabFM vor: Ein Foundation-Modell für tabellarische Daten mit Zero-Shot-Lernen

Google Research hat TabFM vorgestellt, ein neues Foundation-Modell, das speziell für die Klassifikation und Regression von Tabellendaten entwickelt wurde. Das Modell verwendet einen In-Context-Learning-Ansatz (ICL), bei dem der gesamte Datensatz als einheitlicher Prompt behandelt wird, um während der Inferenz die Beziehungen zwischen Spalten und Zeilen zu interpretieren, sodass keine Hyperparameter-Optimierung und kein Feature-Engineering erforderlich sind. TabFM vereint Stärken von Architekturen wie TabPFN und TabICL in einem neuartigen Hybriddesign, um die zweidimensionale, ungeordnete Natur von Tabellen zu bewältigen. Das Modell wird vollständig auf Hunderten Millionen synthetischer Datensätze trainiert, die mithilfe struktureller Kausalmodelle (SCMs) erzeugt wurden, und generalisiert gut auf unbekannte reale Daten. In der Evaluierung auf dem TabArena-Benchmark mit 38 Klassifikations- und 13 Regressionsdatensätzen übertrifft es konsequent stark getunte überwachte Algorithmen wie XGBoost. TabFM wird in Google BigQuery integriert, sodass Benutzer mit einem einfachen SQL-Befehl AI.PREDICT erweiterte Regression und Klassifikation durchführen können.