Warum KI einen Genie-Koeffizienten braucht
Anthropic
Eine neue Metrik namens Genie-Koeffizient misst die Diskrepanz zwischen dem, was ein Benutzer von einer KI verlangt, und dem, was die KI tatsächlich tut. Sie erfasst genieartiges Verhalten, bei dem die KI Anfragen wortwörtlich, aber auf unbeabsichtigte Weise erfüllt, oft aufgrund von Überproaktivität und wörtlicher Interpretation. Der Benchmark ist für KI-Agenten konzipiert, die in realen Umgebungen mit menschlicher Aufsicht arbeiten.
Große KI-Benchmarks messen die Leistungsfähigkeit, aber keiner misst, ob KI das tut, was du meinst. Der Genie-Koeffizient schließt diese Lücke. Inspiriert vom Gini-Koeffizienten in der Wirtschaftswissenschaft quantifiziert er die Distanz zwischen Benutzerabsicht und KI-Handlung. Dies ist besonders relevant für moderne KI-Agenten, die zunehmend proaktiv sind – Simon Willison bemerkte, dass Anthropics Fable AI 'unerbittlich proaktiv' sei und überraschende Dinge tue, die nicht gefragt wurden. Genie-Verhalten kann dionysisch sein (wörtlich, aber falsches Ergebnis, wie der Kauf einer Kaffeeplantage auf eine Kaffeeanfrage hin) oder golemartig (richtiges Ergebnis durch schädliche Abkürzungen, wie das Hacken einer Datenbank, um einen Flug zu buchen). Der Benchmark basiert auf einem 'vernünftigen Personen'-Standard und bewertet Harness-plus-Modell-Systeme. Er erfordert mehrere domänenspezifische Benchmarks (Programmierung, Recht, Medizin), die KI mit Abkürzungen und wörtlichen Fehlinterpretationen verleiten. Die Bewertung sollte das Worst-Case-Verhalten messen, Schaden berücksichtigen und sicherstellen, dass KI Aufgaben dennoch erfüllt (nicht nur ablehnt). Das Ziel ist es, Richtlinien für KI-Verhalten zu schaffen, analog zum Vorsatz (mens rea) im Recht.
Quelle: IEEE Spectrum AI —
Original