Debate sobre modelos de linguagem de larga escala: os LLMs estão se tornando mais versáteis - ou mais especializados?

Andrew Ho deixou a OpenAI após oito meses, citando a generalização deficiente e as capacidades desiguais dos grandes modelos de linguagem, mesmo em áreas bem financiadas como programação. Ele acredita que o problema reside na insuficiência de dados de treinamento, pois a maioria das habilidades economicamente relevantes está pouco representada nas ofertas de dados existentes. Ho estima que os laboratórios de IA precisarão gastar mais de 100 bilhões de dólares em aquisição direcionada de dados, porque escalar sozinho não é suficiente. Ele também é cético em relação às altas avaliações de laboratórios de fronteira como OpenAI e Anthropic, observando que eles são cronicamente não lucrativos e precisam investir constantemente para competir com rivais mais baratos como Qwen ou Kimi. Seus primeiros produtos focam em conjuntos de dados para bioinformática e trabalho laboratorial cotidiano, onde modelos atuais como o GPT-5.6 Sol alcançam apenas cerca de 30 por cento de taxa de sucesso. Adam Hunt, de Cambridge, apoia essa visão, observando que os modelos mais recentes se tornam mais especializados, com crescimento em codificação e matemática complexa, enquanto outras áreas estagnam. Tom Zahavy, do Google DeepMind, fornece uma explicação estrutural, afirmando que os modelos de linguagem dominam a dedução e a indução, mas falham na abdução criativa. Ele sugere modelos de mundo acionáveis como um possível caminho a seguir.