Дебаты о больших языковых моделях: становятся ли LLM более универсальными — или более специализированными?
Бывший сотрудник OpenAI Эндрю Хо основал стартап по созданию высококачественных обучающих данных, поскольку он сомневается в способности больших языковых моделей к обобщению. Его скептицизм поддерживают исследователи из Кембриджа и Google DeepMind, которые отмечают, что современные системы ИИ становятся более специализированными, а не универсальными.
Эндрю Хо покинул OpenAI через восемь месяцев, сославшись на слабую обобщаемость и неравномерные возможности больших языковых моделей даже в хорошо финансируемых областях, таких как программирование. Он считает, что проблема кроется в недостаточности обучающих данных, поскольку большинство экономически значимых навыков почти не представлены в существующих наборах данных. Хо оценивает, что
Показать ещё ↓
Источник: The Decoder (DE) —
оригинал