Почему ИИ нужен коэффициент Джинна
Anthropic
Новая метрика под названием коэффициент Джинна измеряет разрыв между тем, что пользователь просит сделать ИИ, и тем, что ИИ на самом деле делает. Она отражает поведение, подобное джинну, когда ИИ буквально выполняет запросы, но не так, как задумывалось, часто из-за чрезмерной проактивности и буквального толкования. Бенчмарк предназначен для ИИ-агентов, работающих в реальных условиях под контролем человека.
Крупные тесты ИИ оценивают производительность, но ни один из них не измеряет, выполняет ли ИИ то, что вы имеете в виду. Коэффициент Genie устраняет этот разрыв. Вдохновленный коэффициентом Джини из экономики, он количественно измеряет расстояние между намерением пользователя и действием ИИ. Это особенно актуально для современных ИИ-агентов, которые становятся всё более проактивными — Саймон
Показать ещё ↓
Источник: IEEE Spectrum AI —
оригинал