Büyük dil modelleri üzerine tartışma: LLM'ler daha çok yönlü mü yoksa daha uzmanlaşmış mı oluyor?

Andrew Ho, sekiz ay sonra OpenAI'den ayrıldı ve büyük dil modellerinin, programlama gibi iyi finanse edilen alanlarda bile zayıf genelleme ve dengesiz yetenekler sergilediğini belirtti. Sorunun, mevcut veri setlerinde ekonomik olarak önemli becerilerin neredeyse hiç temsil edilmemesi nedeniyle yetersiz eğitim verisinden kaynaklandığına inanıyor. Ho, ölçeklemenin tek başına yeterli olmadığı için yapay zeka laboratuvarlarının hedefli veri toplamaya 100 milyar dolardan fazla harcaması gerekeceğini tahmin ediyor. Ayrıca OpenAI ve Anthropic gibi öncü laboratuvarların yüksek değerlemelerine şüpheyle yaklaşıyor ve bunların kronik olarak kârsız olduğunu, Qwen veya Kimi gibi daha ucuz rakiplerle rekabet edebilmek için sürekli yatırım yapmak zorunda olduklarını belirtiyor. İlk ürünleri, GPT-5.6 Sol gibi mevcut modellerin yalnızca yaklaşık yüzde 30 başarı oranına ulaştığı biyoinformatik ve günlük laboratuvar çalışmaları için veri setlerine odaklanıyor. Cambridge'den Adam Hunt bu görüşü destekliyor ve en yeni modellerin daha uzmanlaşmış hale geldiğini, kodlama ve karmaşık matematikte büyüme görülürken diğer alanların durağan kaldığını gözlemliyor. Google DeepMind'dan Tom Zahavy ise yapısal bir açıklama sunuyor: dil modellerinin tümdengelim ve tümevarımda ustalaştığını ancak yaratıcı abdüksiyonda başarısız olduğunu söylüyor. Olası bir çözüm olarak eylem kontrollü dünya modellerini öneriyor.