TabFM 대 XGBoost: 출시 문서에는 없는 5가지 사실

Google Research가 2026년 6월 30일에 공개한 TabFM에 관한 Sergey Proshchaev(핀테크 및 전자상거래 분야 테크 리드)의 기사입니다. TabFM은 테이블을 단일 컨텍스트로 읽어 들이며, 가중치를 고정하고 컨텍스트 내 학습(in-context learning)을 사용하므로 데이터에 대한 학습이 필요 없습니다. 이는 시계열 분석용 TimesFM의 후속 모델로, TabPFN(2022)의 계보를 잇습니다. 이 모델은 구조적 인과 모델(Structural Causal Models)로 생성된 수억 개의 합성 데이터 세트로 사전 학습되었으며, 실제 기업 데이터로 학습되지 않았습니다. 기사에서는 scikit-learn 래퍼의 기본 제한이 특성 500개와 컨텍스트 행 100개인 점을 강조하며, 테이블이 더 클 경우 모델이 샘플링을 수행한다고 설명합니다. Yash Raj Pandey의 독립적인 벤치마크에 따르면 TabFM은 소규모 및 중간 규모 테이블에서 튜닝된 XGBoost보다 우수한 성능을 보였지만, 여러 시드를 고려하면 일부 우위는 사라졌습니다. 또한 메모리 문제가 지적되었는데, 주장된 22.75GB의 비디오 메모리는 대부분 XLA 할당기의 아티팩트였고 실제 사용량은 약 16.95GB였으며, PyTorch에서 bf16 및 활성화 청킹(activation chunking)을 활성화하면 메모리가 3~7GB로 줄어듭니다. 저자는 여러 시드와 하이퍼파라미터 튜닝을 위한 동일한 예산을 사용한 적절한 평가 프로토콜을 제안합니다. 결론적으로 TabFM은 가능성을 보여주지만, 지저분한 기업 테이블과 분포 변화에 대한 동작은 아직 규명되지 않았으므로 자체 데이터에 대한 검증이 필수적이라고 강조합니다.