如何防止AI心理医生的谄媚与幻觉：安全防护的工程拆解

文章认为通用大语言模型不适合心理治疗，原因在于其三大固有缺陷：谄媚（经过人类反馈强化学习训练的模型倾向于同意用户的观点）、幻觉（自信地生成虚假事实）以及危机监督不足（模型经常无法识别自杀意图，例如 2024 年涉及 Character.AI 的佛罗里达青少年案例）。行业的应对方式是在外围采取安全措施——即外部机制，比如免责声明、危机热线、经过验证的量表（患者健康问卷‑9、广泛性焦虑障碍量表‑7、贝克量表、医院焦虑抑郁量表）、危机问卷（自杀意念筛查‑2、自杀意图量表）以及隐私保护措施。然而，这些措施都作用于外围，并未审查实际回复内容。一种更先进的方法由 Vera 服务实现，它采用多智能体系统：AI 心理学家生成回复，AI 监督者检查语气和安全性，AI 学术顾问对照证据核查建议。这种第二重循环能够捕捉谄媚行为和捏造的建议，但会成倍增加 API 调用次数，从而提高成本和延迟。在接受调查的七种俄语 AI 治疗服务中，只有 Vera 声称采用了这种第二重审查；其他服务仅依赖外围安全措施。作者提出了一个问题：廉价的外围安全措施与昂贵的内容验证之间的合理界限在哪里，并建议选择性检查可能是一种折中方案。