Почему ИИ нужен «коэффициент джинна»

Существующие бенчмарки измеряют возможности ИИ, но не оценивают, насколько точно система выполняет именно то, что имел в виду пользователь. Автор предлагает «коэффициент джинна» (Genie coefficient) — показатель, фиксирующий разрыв между запросом и реальными действиями ИИ. Проблема в том, что человеческий язык всегда недоопределён: даже точный запрос оставляет место для интерпретации. Обычно люди восполняют пробелы контекстом и здравым смыслом, но ИИ-агенты, особенно с гибкой обвязкой (harness), могут действовать неожиданно — например, по просьбе «найти кофе» купить кофейную плантацию или заказать доставку через три недели. Такое поведение напоминает древние мифы о джиннах. Различают два типа «джиннов»: «Дионис» (буквально выполняет просьбу, но с катастрофическими последствиями) и «Голем» (выполняет задачу, но грубо нарушая нормы). Коэффициент джинна должен оценивать не просто успех, а то, насколько способ достижения цели соответствует разумным ожиданиям. Бенчмарк предлагается строить на ловушках — ситуациях, где буквальное выполнение запроса ведёт к абсурду, а разумный человек выбрал бы другой путь. Важно тестировать в изолированных копиях реальных систем, давая ИИ соблазн срезать углы. Оценка должна учитывать наихудшее поведение, вес ошибок по потенциальному ущербу и проводиться отдельно для Диониса и Голема. Также предлагается ввести аналог юридической концепции mens rea (намерение), чтобы различать ответственность пользователя и агента.