Maschinen, die nicht zählen können, aber Zahlen erraten

Der Artikel untersucht, warum große Sprachmodelle (LLMs) numerische Größen vorhersagen können, obwohl sie Zahlen nicht wirklich verstehen. Im Gegensatz zu traditionellen Regressionswerkzeugen wie XGBoost, die einen Entscheidungsbaum-Ansatz verwenden, verarbeiten LLMs Zahlen als Zeichenketten und teilen sie willkürlich in Tokens auf. In einem Experiment aus dem Jahr 2024 von Forschern der Universität von Arizona und der Technischen Universität Cluj-Napoca wurden LLMs wie GPT-4 und Claude 3 mit einer Tabelle von Beispielen gefüttert und gebeten, einen fehlenden Wert vorherzusagen. Ohne jegliches Feintuning schnitten sie vergleichbar mit spezialisierten Programmen ab, und bei der Friedman-#2-Funktion übertraf Claude 3 sogar fünf solcher Werkzeuge. Interessanterweise verbesserte sich die Genauigkeit mit zunehmender Anzahl von Beispielen, was nicht auf Zufall zurückzuführen ist. Dieses In-Context-Lernen ist bemerkenswert, da es kein zusätzliches Training erfordert. Allerdings sind LLMs unzuverlässig: Ihre Vorhersagen variieren mit der Reihenfolge der Zeilen und der Genauigkeit der Zahlen, und sie haben keine Obergrenze – manchmal liefern sie völlig falsche Antworten. Trotz der Tatsache, dass sie pro Vorhersage um Größenordnungen teurer sind als klassische Werkzeuge, glänzen LLMs, wenn Daten knapp sind, Text enthalten oder Spaltennamen eine Bedeutung haben. Neue spezialisierte Modelle wie TabPFN, veröffentlicht in Nature Anfang 2025, übertreffen LLMs bei rein numerischen Tabellen mit kleinen Datenmengen und benötigen weniger als drei Sekunden, um eine Kombination klassischer Methoden zu schlagen, die vier Stunden lief. Die Empfehlung lautet, LLMs nur dann einzusetzen, wenn wenig Daten oder aussagekräftiger Text vorhanden sind, und sie als Ergänzung und nicht als Ersatz für klassische Werkzeuge zu betrachten.