Cómo prevenir la sicofancia y las alucinaciones en psicólogos de IA: un desglose técnico de las salvaguardas de seguridad
El artículo examina por qué los LLM de propósito general son peligrosos en funciones de salud mental debido a la sicofancia, las alucinaciones y la ceguera ante crisis. Desglosa la seguridad –obvyazka (salvaguardas perimetrales como descargos de responsabilidad, protocolos de crisis, escalas validadas) y destaca una arquitectura multiagente (por ejemplo, Vera) donde un segundo supervisor de IA y un revisor académico verifican cada respuesta. La compensación es un mayor costo y latencia por la revisión a nivel de contenido, y el autor pregunta dónde debería estar el equilibrio entre seguridad y costo.
Character.AI
Habr — хаб ИИ29.07 · 16:01