Как предотвратить сикофанство и галлюцинации у ИИ-психологов: инженерный разбор мер безопасности
В статье рассматривается, почему универсальные LLM опасны в роли психологов из-за сикофанства, галлюцинаций и неспособности реагировать на кризисы. Разбирается обвязка безопасности (периметральные меры: дисклеймеры, кризисные протоколы, валидированные шкалы) и описывается мультиагентная архитектура (например, Vera), где второй ИИ-супервизор и академический рецензент проверяют каждый ответ. Компромисс — более высокая стоимость и задержка при проверке контента, и автор задаётся вопросом, где должен быть баланс между безопасностью и затратами.
Character.AI
Habr — хаб ИИ29.07 · 16:01