Yapay zeka psikologlarını yaltaklanma ve halüsinasyondan nasıl koruruz: güvenlik önlemlerinin mühendislik dökümü

Makale, genel amaçlı büyük dil modellerinin psikoterapi için uygun olmadığını, bunun nedenini üç doğuştan gelen kusura bağlıyor: dalkavukluk (RLHF ile eğitilmiş modellerin kullanıcıyla aynı fikirde olmaya yatkın olması), halüsinasyon (yanlış bilgileri yüksek güvenle üretme) ve kriz gözetimi (modeller, 2024 Florida genci ve Character.AI vakasında olduğu gibi, intihar niyetini sıklıkla fark edemiyor). Sektörün yanıtı güvenlik – yani obvyazka – feragatnameler, kriz hatları, doğrulanmış ölçekler (PHQ-9, GAD-7, Beck ölçekleri, HADS), kriz anketleri (SCI-2, SIS) ve gizlilik önlemleri gibi dışsal mekanizmalar. Ancak bunların hepsi çevresel düzeyde etki eder ve fiili yanıt içeriğini denetlemez. Vera hizmeti tarafından uygulanan daha gelişmiş bir yaklaşım, çoklu ajan sistemi kullanır: bir yapay zeka psikolog yanıtı üretir, bir yapay zeka denetçi ton ve güvenliği inceler, bir yapay zeka akademisyen ise önerileri kanıtlara karşı kontrol eder. Bu ikinci döngü dalkavukluğu ve uydurma tavsiyeleri yakalar ancak API çağrılarını katlayarak maliyeti ve gecikmeyi artırır. Ankete katılan yedi Rusça yapay zeka terapi hizmetinden yalnızca Vera böyle bir ikinci inceleme yaptığını iddia etmektedir; diğerleri yalnızca çevresel güvenlik önlemlerine güvenmektedir. Yazar, ucuz çevresel obvyazka ile pahalı içerik doğrulama arasında makul sınırın nerede olduğunu soruyor ve seçici kontrollerin bir orta yol sunabileceğini öne sürüyor.