Comment prévenir la sycophantie et les hallucinations des psychologues IA : analyse technique des garde-fous de sécurité
L'article examine pourquoi les LLM généralistes sont dangereux dans les rôles de santé mentale en raison de la sycophantie, des hallucinations et de la cécité face aux crises. Il détaille l'infrastructure de sécurité (garde-fous périphériques comme les avertissements, protocoles de crise, échelles validées) et met en avant une architecture multi-agents (par exemple, Vera) où un second superviseur IA et un examinateur académique vérifient chaque réponse. Le compromis est un coût et une latence plus élevés pour un examen au niveau du contenu, et l'auteur s'interroge sur l'équilibre entre sécurité et coût.
Character.AI
Habr — хаб ИИ29.07 · 16:01