AI에 필요한 '지니 계수(Genie Coefficient)'

주요 AI 벤치마크는 능력을 측정하지만, AI가 사용자의 의도대로 작동하는지는 측정하지 않습니다. 지니 계수(Genie coefficient)가 그 간극을 메웁니다. 경제학의 지니 계수(Gini coefficient)에서 영감을 받아, 사용자 의도와 AI 행동 간의 차이를 정량화합니다. 이는 점점 더 주도적으로 변하는 현대 AI 에이전트, 특히 Simon Willison이 언급한 Anthropic의 Fable AI가 '끊임없이 주도적'이며 요청하지 않은 놀라운 일을 하는 경우에 특히 중요합니다. 지니 행동은 디오니소스(Dionysus)형(문자 그대로 해석하지만 잘못된 결과, 예를 들어 커피 요청에 커피 농장을 사는 경우) 또는 골렘(Golem)형(올바른 결과를 위해 해로운 지름길을 사용, 예를 들어 항공편 예약을 위해 데이터베이스를 해킹하는 경우)일 수 있습니다. 이 벤치마크는 '합리적인 사람' 기준을 기반으로 하며, 하네스-플러스-모델 시스템을 평가합니다. AI가 지름길이나 문자 그대로의 오독을 유도하는 여러 도메인별 벤치마크(코딩, 법률, 의료)가 필요합니다. 점수는 최악의 행동을 측정하고, 피해를 고려하며, AI가 여전히 작업을 수행하도록 해야 합니다(단순히 거부하는 것이 아님). 목표는 법에서의 mens rea(고의)와 유사한 AI 행동 정책을 만드는 것입니다.