Google, 제로샷 학습이 가능한 테이블 데이터 파운데이션 모델 TabFM 발표

Google Research가 표 형식 데이터 분류 및 회귀를 위해 특별히 설계된 새로운 파운데이션 모델인 TabFM을 발표했습니다. 이 모델은 컨텍스트 내 학습(In-Context Learning, ICL) 접근 방식을 사용하여 전체 데이터셋을 통합 프롬프트로 처리함으로써 추론 시 열과 행 간의 관계를 해석하며, 하이퍼파라미터 튜닝과 특성 엔지니어링이 필요하지 않습니다. TabFM은 TabPFN 및 TabICL과 같은 아키텍처의 강점을 새로운 하이브리드 설계로 통합하여 표의 2차원적이고 순서가 없는 특성을 처리합니다. 구조적 인과 모델(Structural Causal Models, SCMs)을 사용하여 생성된 수억 개의 합성 데이터셋으로 전적으로 훈련된 TabFM은 보지 못한 실제 데이터에도 잘 일반화됩니다. 38개의 분류 데이터셋과 13개의 회귀 데이터셋으로 구성된 TabArena 벤치마크에서 평가된 결과, XGBoost와 같은 대폭 튜닝된 지도 학습 알고리즘보다 일관되게 뛰어난 성능을 보였습니다. TabFM은 Google BigQuery에 통합되어 사용자가 간단한 AI.PREDICT SQL 명령으로 고급 회귀 및 분류를 수행할 수 있게 됩니다.