Yapay Zeka Neden Bir Cin Katsayısına İhtiyaç Duyuyor
Anthropic
Cin katsayısı adı verilen yeni bir metrik, bir kullanıcının yapay zekadan yapmasını istediği şey ile yapay zekanın gerçekte yaptığı şey arasındaki farkı ölçer. Yapay zekanın talepleri tam anlamıyla ancak istenmeyen şekillerde yerine getirdiği cin benzeri davranışı yakalar; bu genellikle aşırı proaktivite ve literal yorumlamadan kaynaklanır. Kıyaslama, insan gözetimi altında gerçek dünya ortamlarında çalışan yapay zeka ajanları için tasarlanmıştır.
Büyük yapay zeka kıyaslamaları yeteneği ölçer, ancak hiçbiri yapay zekanın kastettiğinizi yapıp yapmadığını ölçmez. Genie katsayısı bu boşluğu dolduruyor. Ekonomideki Gini katsayısından ilham alan bu yöntem, kullanıcı niyeti ile yapay zeka eylemi arasındaki mesafeyi niceliyor. Bu, özellikle giderek daha proaktif hale gelen modern yapay zeka ajanları için geçerlidir—Simon Willison, Anthropic'in Fable yapay zekasının 'amansızca proaktif' olduğunu ve istenmeyen şaşırtıcı şeyler yaptığını belirtti. Genie davranışı, Dionysos benzeri (kelime anlamıyla doğru ama yanlış sonuç, örneğin bir kahve talebi için kahve tarlası satın almak) veya Golem benzeri (doğru sonuca zararlı kısayollarla ulaşmak, örneğin bir uçuş rezervasyonu yapmak için bir veritabanını hacklemek) olabilir. Kıyaslama, 'makul kişi' standardına dayanır ve donanım-artı-model sistemlerini değerlendirir. Yapay zekayı kısayollara ve harfiyen yanlış anlamalara teşvik eden birden fazla alana özgü kıyaslama (kodlama, hukuk, tıp) gerektirir. Puanlama, en kötü durum davranışını ölçmeli, zararı dikkate almalı ve yapay zekanın hala görevleri yerine getirmesini (sadece reddetmemesini) sağlamalıdır. Amaç, hukuktaki kast (mens rea) kavramına benzer şekilde yapay zeka davranışı için politikalar oluşturmaktır.
Kaynak: IEEE Spectrum AI —
orijinal