Debat over grote taalmodellen: Worden LLM's veelzijdiger - of juist gespecialiseerder?

Andrew Ho verliet OpenAI na acht maanden, waarbij hij wees op slechte generalisatie en ongelijke capaciteiten van grote taalmodellen, zelfs in goed gefinancierde gebieden zoals programmeren. Hij gelooft dat het probleem ligt in onvoldoende trainingsdata, omdat de meeste economisch relevante vaardigheden nauwelijks zijn vertegenwoordigd in bestaande data-aanbiedingen. Ho schat dat AI-laboratoria meer dan 100 miljard dollar zullen moeten uitgeven aan gerichte data-acquisitie, omdat schalen alleen niet voldoende is. Hij is ook sceptisch over de hoge waarderingen van toonaangevende laboratoria zoals OpenAI en Anthropic, en merkt op dat ze chronisch verliesgevend zijn en voortdurend moeten investeren om te concurreren met goedkopere rivalen zoals Qwen of Kimi. Zijn eerste producten richten zich op datasets voor bio-informatica en dagelijks laboratoriumwerk, waar huidige modellen zoals GPT-5.6 Sol slechts ongeveer 30 procent succespercentage behalen. Adam Hunt van Cambridge steunt deze visie en merkt op dat de nieuwste modellen gespecialiseerder worden, met groei in coderen en complexe wiskunde terwijl andere gebieden stagneren. Tom Zahavy van Google DeepMind biedt een structurele verklaring en stelt dat taalmodellen deductie en inductie beheersen, maar falen bij creatieve abductie. Hij suggereert actie-controleerbare wereldmodellen als een mogelijke uitweg.