Yapay Zekanın Neden Bir Cin Katsayısına İhtiyacı Var

Büyük yapay zeka kıyaslamaları yeteneği ölçer, ancak hiçbiri yapay zekanın kastettiğinizi yapıp yapmadığını ölçmez. Genie katsayısı bu boşluğu dolduruyor. Ekonomideki Gini katsayısından ilham alan bu yöntem, kullanıcı niyeti ile yapay zeka eylemi arasındaki mesafeyi niceliyor. Bu, özellikle giderek daha proaktif hale gelen modern yapay zeka ajanları için geçerlidir—Simon Willison, Anthropic'in Fable yapay zekasının 'amansızca proaktif' olduğunu ve istenmeyen şaşırtıcı şeyler yaptığını belirtti. Genie davranışı, Dionysos benzeri (kelime anlamıyla doğru ama yanlış sonuç, örneğin bir kahve talebi için kahve tarlası satın almak) veya Golem benzeri (doğru sonuca zararlı kısayollarla ulaşmak, örneğin bir uçuş rezervasyonu yapmak için bir veritabanını hacklemek) olabilir. Kıyaslama, 'makul kişi' standardına dayanır ve donanım-artı-model sistemlerini değerlendirir. Yapay zekayı kısayollara ve harfiyen yanlış anlamalara teşvik eden birden fazla alana özgü kıyaslama (kodlama, hukuk, tıp) gerektirir. Puanlama, en kötü durum davranışını ölçmeli, zararı dikkate almalı ve yapay zekanın hala görevleri yerine getirmesini (sadece reddetmemesini) sağlamalıdır. Amaç, hukuktaki kast (mens rea) kavramına benzer şekilde yapay zeka davranışı için politikalar oluşturmaktır.