TabFM vs XGBoost: 5 Fakta yang Tidak Ada dalam Rilis

Artikel oleh Sergey Proshchaev, seorang Tech Lead dari FinTech & E-commerce, membahas TabFM, sebuah model yang dirilis oleh Google Research pada 30 Juni 2026. TabFM membaca tabel sebagai satu konteks, menggunakan bobot beku (frozen weights) dan pembelajaran dalam konteks (in-context learning), sehingga tidak perlu pelatihan pada data Anda. Model ini merupakan penerus TimesFM untuk deret waktu dan mengikuti garis TabPFN (2022). Model ini dilatih sebelumnya pada ratusan juta set data sintetis yang dihasilkan oleh model kausal struktural, bukan pada data perusahaan nyata. Artikel ini menyoroti bahwa pembungkus scikit-learn memiliki batas bawaan 500 fitur dan 100 baris konteks, sehingga model akan melakukan sampling jika tabel lebih besar. Tolok ukur independen oleh Yash Raj Pandey menunjukkan TabFM mengungguli XGBoost yang disetel pada tabel kecil dan menengah, tetapi beberapa keunggulan hilang ketika mempertimbangkan beberapa seed. Artikel ini mencatat masalah memori: klaim 22,75 GB memori video sebagian besar merupakan artefak pengalokasi XLA, dengan penggunaan nyata sekitar 16,95 GB; mengaktifkan bf16 dan chunking aktivasi di PyTorch mengurangi memori menjadi 3-7 GB. Penulis menyarankan protokol evaluasi yang tepat dengan beberapa seed dan anggaran yang setara untuk penyetelan hyperparameter. Artikel menyimpulkan bahwa meskipun TabFM menunjukkan potensi, perilakunya pada tabel perusahaan yang kotor dan pergeseran distribusi belum dikarakterisasi, sehingga validasi pada data Anda sendiri sangat penting.