숫자를 세지 못하지만 숫자를 추측하는 기계

이 기사는 대규모 언어 모델(LLM)이 숫자를 진정으로 이해하지 못함에도 불구하고 수치적 양을 예측할 수 있는 이유를 탐구합니다. XGBoost와 같은 전통적인 회귀 도구가 결정 트리 방식을 사용하는 반면, LLM은 숫자를 문자열로 처리하여 임의로 토큰으로 분할합니다. 애리조나 대학교와 클루지나포카 기술 대학교 연구자들이 2024년에 실시한 실험에서 GPT-4 및 Claude 3와 같은 LLM은 예시 표를 제시받고 누락된 값을 예측하도록 요청받았습니다. 추가 조정 없이도 전문 프로그램과 비슷한 성능을 보였으며, Friedman #2 함수에서는 Claude 3가 다섯 가지 도구를 능가하기도 했습니다. 흥미롭게도 예시 수를 늘리면 정확도가 향상되었는데, 이는 우연으로 치부할 수 없습니다. 이러한 맥락 내 학습은 추가 훈련이 필요 없다는 점에서 놀랍습니다. 그러나 LLM은 신뢰할 수 없습니다. 행의 순서와 숫자의 정밀도에 따라 예측이 달라지며, 상한선이 없어 때로는 터무니없이 틀린 답을 제공하기도 합니다. 예측당 비용이 전통적인 도구보다 훨씬 비싸지만, LLM은 데이터가 부족하거나 텍스트를 포함하거나 열 이름이 의미를 지닐 때 빛을 발합니다. 2025년 초 네이처에 발표된 TabPFN과 같은 새로운 특화 모델은 소규모 데이터의 순수 수치 표에서 LLM을 능가하며, 4시간 동안 실행된 고전적 방법의 조합을 3초도 채 걸리지 않아 이깁니다. 권장 사항은 데이터가 적거나 의미 있는 텍스트가 있을 때만 LLM을 사용하고, 전통적인 도구의 대체재가 아닌 보완재로 간주하는 것입니다.