Машины, которые не умеют считать, но угадывают числа
Языковые модели (LLM, большие языковые модели) могут предсказывать числовые значения из табличных данных без дополнительной настройки, иногда сравниваясь или даже превосходя специализированные инструменты регрессии. Однако у них есть фундаментальные ограничения: они обрабатывают числа как текст, не обладают интерпретируемостью и требуют больших затрат. Новые специализированные модели для таблиц, такие как TabPFN, превосходят LLM на чисто числовых таблицах.
В статье рассматривается, почему большие языковые модели (LLM) могут предсказывать числовые величины, несмотря на то, что на самом деле не понимают чисел. В отличие от традиционных инструментов регрессии, таких как XGBoost, которые используют подход на основе деревьев решений, LLM обрабатывают числа как строки символов, разбивая их на токены произвольным образом. В эксперименте 2024 года,
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал