Perdebatan tentang model bahasa besar: Apakah LLM menjadi lebih serbaguna - atau lebih terspesialisasi?

Andrew Ho meninggalkan OpenAI setelah delapan bulan, dengan alasan generalisasi yang buruk dan kemampuan model bahasa besar yang tidak merata bahkan di bidang yang didanai dengan baik seperti pemrograman. Dia percaya masalahnya terletak pada data pelatihan yang tidak memadai, karena sebagian besar keterampilan yang relevan secara ekonomi hampir tidak terwakili dalam penawaran data yang ada. Ho memperkirakan bahwa laboratorium AI perlu mengeluarkan lebih dari 100 miliar dolar untuk akuisisi data yang ditargetkan karena penskalaan saja tidak cukup. Dia juga skeptis terhadap valuasi tinggi laboratorium terdepan seperti OpenAI dan Anthropic, mencatat bahwa mereka secara kronis tidak menguntungkan dan harus berinvestasi terus-menerus untuk bersaing dengan pesaing yang lebih murah seperti Qwen atau Kimi. Produk pertamanya berfokus pada kumpulan data untuk bioinformatika dan pekerjaan laboratorium sehari-hari, di mana model saat ini seperti GPT-5.6 Sol hanya mencapai tingkat keberhasilan sekitar 30 persen. Adam Hunt dari Cambridge mendukung pandangan ini, mengamati bahwa model terbaru menjadi lebih terspesialisasi, dengan pertumbuhan dalam pengkodean dan matematika kompleks sementara area lain stagnan. Tom Zahavy dari Google DeepMind memberikan penjelasan struktural, menyatakan bahwa model bahasa menguasai deduksi dan induksi tetapi gagal dalam abduksi kreatif. Dia menyarankan model dunia yang dapat dikendalikan aksi sebagai jalan keluar yang mungkin.