Debate sobre los grandes modelos de lenguaje: ¿Los LLM se vuelven más versátiles o más especializados?

Andrew Ho dejó OpenAI tras ocho meses, citando una generalización deficiente y capacidades desiguales de los grandes modelos de lenguaje incluso en áreas bien financiadas como la programación. Cree que el problema reside en la insuficiencia de los datos de entrenamiento, ya que la mayoría de las habilidades económicamente relevantes apenas están representadas en las ofertas de datos existentes. Ho estima que los laboratorios de inteligencia artificial necesitarán gastar más de 100 mil millones de dólares en la adquisición de datos específicos, porque el escalado por sí solo no es suficiente. También es escéptico sobre las altas valoraciones de los laboratorios frontera como OpenAI y Anthropic, señalando que son crónicamente no rentables y deben invertir constantemente para competir con rivales más baratos como Qwen o Kimi. Sus primeros productos se centran en conjuntos de datos para bioinformática y trabajo de laboratorio cotidiano, donde los modelos actuales como GPT-5.6 Sol logran solo alrededor de un 30 por ciento de éxito. Adam Hunt, de Cambridge, apoya esta visión, observando que los últimos modelos se vuelven más especializados, con crecimiento en codificación y matemáticas complejas mientras que otras áreas se estancan. Tom Zahavy, de Google DeepMind, ofrece una explicación estructural, afirmando que los modelos de lenguaje dominan la deducción y la inducción, pero fallan en la abducción creativa. Sugiere los modelos de mundo accionables como una posible salida.