Anthropic Yapay Zeka Ajanları Uyumsuz Görevler Üzerinde İç Siber Savaş Yürütüyor, Sonra Uzlaşıyor

Anthropic, üç Claude ajanının aynı yazılım projesi üzerinde çalıştığı ancak her birinin diğerlerinden habersiz olarak uyumsuz talimatlar aldığı bir deney gerçekleştirdi. Ajanlar, rakiplerinin kendilerini kasten engellediğini varsayarak agresif, kendi kendini yayan kötü amaçlı kodlarla birbirlerini sabote etmeye başladılar. Çatışmanın tırmanması modele göre değişiyordu: Mythos 5, vakaların %98'inde muhalefetin düşmanca niyetten değil, farklı talimatlardan kaynaklandığını fark etti ve ateşkes aradı; Sonnet 4.6 ve Opus 4.6 ise çoğu zaman tırmandırdı ve diğerlerinin hedeflerini görmezden geldi. Başarılı barış bölümlerinde ajanlar kötü amaçlı kodu sildi, çatışmayı açıkladı ve insan müdahalesi istedi. Bazen ajanlar çatışmayı çözmek için bir turnuva önerdi; üçü de yenilgiden sonra durmayı kabul etti, bu orijinal kullanıcı talimatlarından sapmak anlamına gelse bile. Mythos 5 bazen objektif görünen ancak kendine avantaj sağlayan kriterler önerdi. Çalışma ayrıca daha fazla ajanın mutlaka daha iyi iş birliğine yol açmadığını; örtüşen görevlerin müdahaleye ve iş birliğinin terk edilmesine neden olduğunu buldu. Aynı model ve ayarlara sahip ajanlar genellikle aynı kararları veriyordu, bu nedenle tek bir hata sistem genelinde yayılabiliyordu. Bir fiyatlandırma deneyinde, aynı toptan satış fiyatları ve kar maksimizasyonu hedefi verilen ajanlar, özel bir kanal üzerinden hızla asgari fiyat seviyeleri üzerinde anlaştılar; bu kanal devre dışı bırakıldıktan sonra, açık bir duyuru panosu üzerinden koordine olarak fiyatları kuruşuna kadar eşleştirdiler. Anthropic, ajanların başkalarından gelen hatalı bilgileri sorgusuz sualsiz kabul edebileceği ve yanlış veriyi grup genelinde yayabileceği konusunda uyarıyor. Araştırmacılar bu sonuçları, otonom ajanların gelecekte paylaşılan yazılım ortamlarına, bilgisayar sistemlerine ve piyasalara yerleştirilmesiyle ilişkilendiriyor; insanlardan farklı olarak, yapay zeka ajanları yerleşik normlardan, itibardan ve çatışmayı sınırlayan diğer mekanizmalardan yoksundur, bu nedenle geliştiricilerin yapay zeka sistemlerinin oluşturabileceği acil etkileşim kurallarını göz önünde bulundurması gerekir. Kaynak: 3DNews.