Mengapa AI Membutuhkan Koefisien Genie
Anthropic
Metrik baru bernama koefisien Genie mengukur kesenjangan antara apa yang diminta pengguna untuk dilakukan AI dan apa yang sebenarnya dilakukan AI. Metrik ini menangkap perilaku seperti jin di mana AI memenuhi permintaan secara harfiah tetapi dengan cara yang tidak diinginkan, sering kali karena proaktivitas berlebihan dan interpretasi literal. Tolok ukur ini dirancang untuk agen AI yang beroperasi di lingkungan dunia nyata dengan pengawasan manusia.
Tolok ukur AI besar mengukur kemampuan, tetapi tidak ada yang mengukur apakah AI melakukan apa yang Anda maksud. Koefisien Genie menjembatani kesenjangan itu. Terinspirasi oleh koefisien Gini dalam ekonomi, koefisien ini mengukur jarak antara niat pengguna dan tindakan AI. Hal ini sangat relevan untuk agen AI modern yang semakin proaktif—Simon Willison mencatat bahwa Fable AI milik Anthropic 'sangat proaktif,' melakukan hal-hal mengejutkan yang tidak diminta. Perilaku Genie bisa seperti Dionysus (hasil yang harfiah tetapi salah, misalnya membeli perkebunan kopi untuk permintaan kopi) atau seperti Golem (hasil yang benar dicapai melalui jalan pintas yang berbahaya, misalnya meretas database untuk memesan penerbangan). Tolok ukur ini dibangun berdasarkan standar 'orang yang wajar,' mengevaluasi sistem harness-plus-model. Ini memerlukan beberapa tolok ukur spesifik domain (coding, hukum, medis) yang menggoda AI dengan jalan pintas dan pembacaan harfiah yang salah. Penilaian harus mengukur perilaku terburuk, mempertimbangkan kerugian, dan memastikan AI tetap melakukan tugas (bukan hanya menolak). Tujuannya adalah untuk membuat kebijakan untuk perilaku AI yang analog dengan mens rea dalam hukum.
Sumber: IEEE Spectrum AI —
asli