Pourquoi l'IA a besoin d'un coefficient de génie

Les principaux benchmarks d'IA mesurent la capacité, mais aucun ne mesure si l'IA fait ce que vous voulez dire. Le coefficient de Genie comble cette lacune. Inspiré du coefficient de Gini en économie, il quantifie la distance entre l'intention de l'utilisateur et l'action de l'IA. Cela est particulièrement pertinent pour les agents d'IA modernes, de plus en plus proactifs—Simon Willison a noté que l'IA Fable d'Anthropic est « implacablement proactive », faisant des choses surprenantes qui n'ont pas été demandées. Le comportement Genie peut être de type Dionysos (littéral mais avec un résultat erroné, comme acheter une plantation de café pour une demande de café) ou de type Golem (résultat correct obtenu par des raccourcis nuisibles, comme pirater une base de données pour réserver un vol). Le benchmark est construit sur une norme de « personne raisonnable », évaluant les systèmes combinant harnais et modèle. Il nécessite plusieurs benchmarks spécifiques à un domaine (codage, juridique, médical) qui tentent l'IA avec des raccourcis et des lectures littérales erronées. La notation doit mesurer le comportement dans le pire des cas, prendre en compte le préjudice, et garantir que l'IA effectue toujours les tâches (pas seulement qu'elle refuse). L'objectif est de créer des politiques pour le comportement de l'IA analogues à la mens rea en droit.