TabFM vs. XGBoost: 5 fatos que não estão no lançamento

O artigo de Sergey Proshchaev, Tech Lead de FinTech e E-commerce, discute o TabFM, um modelo lançado pela Google Research em 30 de junho de 2026. O TabFM lê uma tabela como um único contexto, usando pesos congelados e aprendizado em contexto, eliminando a necessidade de treinamento nos seus dados. Ele é o sucessor do TimesFM para séries temporais e segue a linha do TabPFN (2022). O modelo foi pré-treinado em centenas de milhões de conjuntos de dados sintéticos gerados por modelos causais estruturais, não em dados corporativos reais. O artigo destaca que o wrapper do scikit-learn tem limites padrão de 500 características e 100 linhas de contexto, então o modelo faz amostragem se a tabela for maior. Benchmarks independentes de Yash Raj Pandey mostram que o TabFM supera o XGBoost ajustado em tabelas pequenas e médias, mas algumas vitórias desapareceram ao considerar múltiplas sementes. O artigo observa problemas de memória: os 22,75 GB de memória de vídeo reivindicados eram, em sua maioria, um artefato do alocador XLA, com uso real de cerca de 16,95 GB; habilitar bf16 e chunking de ativação no PyTorch reduziu a memória para 3-7 GB. O autor sugere um protocolo de avaliação adequado com múltiplas sementes e orçamentos iguais para ajuste de hiperparâmetros. O artigo conclui que, embora o TabFM mostre potencial, seu comportamento em tabelas corporativas sujas e com drift de distribuição é indefinido, portanto, a validação nos seus próprios dados é essencial.