Máquinas que no cuentan pero adivinan números

El artículo explora por qué los modelos de lenguaje de gran tamaño (LLM) pueden predecir cantidades numéricas a pesar de no comprender verdaderamente los números. A diferencia de las herramientas de regresión tradicionales como XGBoost, que utilizan un enfoque basado en árboles de decisión, los LLM procesan los números como cadenas de caracteres, dividiéndolos en tokens de manera arbitraria. En un experimento de 2024 realizado por investigadores de la Universidad de Arizona y la Universidad Técnica de Cluj-Napoca, se les dio a LLM como GPT-4 y Claude 3 una tabla de ejemplos y se les pidió que predijeran un valor faltante. Sin ningún ajuste fino, funcionaron de manera comparable a los programas especializados, y en la función de Friedman #2, Claude 3 incluso superó a cinco de tales herramientas. Curiosamente, aumentar el número de ejemplos mejoró la precisión, lo que no se puede atribuir a la suerte. Este aprendizaje en contexto es notable porque no requiere entrenamiento adicional. Sin embargo, los LLM no son confiables: sus predicciones varían con el orden de las filas y la precisión de los números, y carecen de un límite superior, a veces dando respuestas extremadamente incorrectas. A pesar de ser órdenes de magnitud más caros por predicción que las herramientas clásicas, los LLM brillan cuando los datos son escasos, contienen texto o cuando los nombres de las columnas tienen significado. Nuevos modelos especializados como TabPFN, publicados en Nature a principios de 2025, superan a los LLM en tablas puramente numéricas con datos pequeños, tardando menos de tres segundos en superar una combinación de métodos clásicos que se ejecutaron durante cuatro horas. La recomendación es usar LLM solo cuando hay pocos datos o texto significativo, y considerarlos como un complemento en lugar de un reemplazo para las herramientas clásicas.