Sayamayan Ama Sayı Tahmin Eden Makineler

Makale, büyük dil modellerinin (LLM'ler) sayıları gerçekten anlamamalarına rağmen sayısal nicelikleri nasıl tahmin edebildiklerini inceliyor. Karar ağacı yaklaşımı kullanan XGBoost gibi geleneksel regresyon araçlarının aksine, LLM'ler sayıları karakter dizileri olarak işler ve bunları keyfi olarak tokenlara böler. Arizona Üniversitesi ve Teknik Üniversitesi Cluj-Napoca'dan araştırmacıların 2024 yılında yaptığı bir deneyde, GPT-4 ve Claude 3 gibi LLM'lere bir örnek tablosu verilmiş ve eksik bir değeri tahmin etmeleri istenmiştir. Herhangi bir ince ayar yapılmadan, özel programlarla karşılaştırılabilir bir performans sergilemişlerdir ve Friedman #2 fonksiyonunda Claude 3, bu tür beş aracı bile geride bırakmıştır. İlginç bir şekilde, örnek sayısını artırmak doğruluğu iyileştirmiştir, bu da şansa bağlanamaz. Bu bağlam içi öğrenme dikkat çekicidir çünkü ek eğitim gerektirmez. Ancak LLM'ler güvenilir değildir: tahminleri satırların sırasına ve sayıların hassasiyetine göre değişir ve bir tavanları yoktur, bazen aşırı yanlış cevaplar verebilirler. Tahmin başına klasik araçlardan büyüklük sırasıyla daha pahalı olmalarına rağmen, LLM'ler veri az olduğunda, metin içerdiğinde veya sütun adları anlam taşıdığında parlamaktadır. 2025'in başlarında Nature'da yayınlanan TabPFN gibi yeni özel modeller, küçük verili saf sayısal tablolarda LLM'lerden daha iyi performans gösterir ve dört saat çalışan klasik yöntemlerin bir kombinasyonunu üç saniyeden kısa sürede yenebilir. Öneri, LLM'leri yalnızca az veri veya anlamlı metin olduğunda kullanmak ve onları klasik araçların yerine geçen değil, tamamlayıcısı olarak görmektir.