Google introduceert TabFM: een funderingsmodel voor tabelgegevens met zero-shot leren

Google Research heeft TabFM geïntroduceerd, een nieuw foundation model dat speciaal is ontworpen voor classificatie en regressie van tabelgegevens. Het model gebruikt een in-context learning (ICL)-benadering, waarbij de volledige dataset als een uniforme prompt wordt behandeld om verbanden tussen kolommen en rijen tijdens de inferentie te interpreteren, waardoor hyperparameteroptimalisatie en feature-engineering overbodig worden. TabFM combineert sterke punten van architecturen zoals TabPFN en TabICL in een nieuw hybride ontwerp dat de tweedimensionale, ongeordende aard van tabellen aankan. Het model is volledig getraind op honderden miljoenen synthetische datasets die zijn gegenereerd met behulp van structurele causale modellen (structural causal models, SCM's) en generaliseert goed naar onbekende real-world gegevens. Bij evaluatie op de TabArena-benchmark met 38 classificatie- en 13 regressiedatasets presteert het consistent beter dan zwaar afgestemde, begeleide algoritmen zoals XGBoost. TabFM wordt geïntegreerd in Google BigQuery, waardoor gebruikers geavanceerde regressie en classificatie kunnen uitvoeren met een eenvoudig AI.PREDICT SQL-commando.