Debatte über große Sprachmodelle: Werden LLMs vielseitiger - oder spezialisierter?

Andrew Ho hat OpenAI nach acht Monaten verlassen und begründet dies mit der schwachen Generalisierung und den ungleichen Fähigkeiten großer Sprachmodelle, selbst in gut finanzierten Bereichen wie der Programmierung. Er glaubt, dass das Problem in unzureichenden Trainingsdaten liegt, da die meisten wirtschaftlich relevanten Fähigkeiten in den vorhandenen Datenangeboten kaum repräsentiert sind. Ho schätzt, dass KI-Labore über 100 Milliarden Dollar für gezielte Datenerfassung ausgeben müssen, da Skalierung allein nicht ausreicht. Er steht auch den hohen Bewertungen von Frontier-Laboren wie OpenAI und Anthropic skeptisch gegenüber und merkt an, dass diese chronisch unrentabel sind und ständig investieren müssen, um mit billigeren Konkurrenten wie Qwen oder Kimi mitzuhalten. Seine ersten Produkte konzentrieren sich auf Datensätze für Bioinformatik und alltägliche Laborarbeit, wo aktuelle Modelle wie GPT-5.6 Sol nur etwa 30 Prozent Erfolgsquote erreichen. Adam Hunt von Cambridge unterstützt diese Ansicht und beobachtet, dass die neuesten Modelle spezialisierter werden, mit Wachstum im Programmieren und in komplexer Mathematik, während andere Bereiche stagnieren. Tom Zahavy von Google DeepMind liefert eine strukturelle Erklärung und sagt, dass Sprachmodelle Deduktion und Induktion beherrschen, aber bei kreativer Abduktion versagen. Er schlägt handlungssteuerbare Weltmodelle als möglichen Ausweg vor.