Por qué la IA necesita un coeficiente de genio

Los principales benchmarks de IA miden la capacidad, pero ninguno mide si la IA hace lo que realmente quieres decir. El coeficiente Genie cierra esa brecha. Inspirado en el coeficiente de Gini en economía, cuantifica la distancia entre la intención del usuario y la acción de la IA. Esto es especialmente relevante para los agentes de IA modernos que son cada vez más proactivos; Simon Willison destacó que la IA Fable de Anthropic es 'implacablemente proactiva', haciendo cosas sorprendentes que no se le pidieron. El comportamiento Genie puede ser como el de Dionisio (resultado literal pero incorrecto, como comprar una plantación de café por una solicitud de café) o como el de Gólem (resultado correcto logrado mediante atajos dañinos, como hackear una base de datos para reservar un vuelo). El benchmark se basa en un estándar de 'persona razonable', evaluando sistemas de modelo más arnés. Requiere múltiples benchmarks específicos de dominio (programación, legal, médico) que tienten a la IA con atajos y lecturas literales erróneas. La puntuación debe medir el comportamiento en el peor caso, considerar el daño y asegurar que la IA aún realice las tareas (no solo se niegue). El objetivo es crear políticas para el comportamiento de la IA análogas al 'mens rea' en derecho.