Comment prévenir la sycophantie et les hallucinations des psychologues IA : analyse technique des garde-fous de sécurité

L’article soutient que les LLM polyvalents ne sont pas adaptés à la psychothérapie en raison de trois défauts innés : la sycophancie (les modèles entraînés avec RLHF ont un biais à acquiescer à l’utilisateur), les hallucinations (génération confiante de faits faux) et la négligence des crises (les modèles échouent souvent à reconnaître les intentions suicidaires, comme dans l’affaire de l’adolescent en Floride en 2024 impliquant Character.AI). La réponse de l’industrie est la sécurité – l’obvyazka – des mécanismes externes tels que les avertissements, les lignes d’urgence, les échelles validées (PHQ‑9, GAD‑7, échelles de Beck, HADS), les questionnaires de crise (SCI‑2, SIS) et les mesures de confidentialité. Cependant, tous agissent en périphérie et n’inspectent pas le contenu réel de la réponse. Une approche plus avancée, mise en œuvre par le service Vera, utilise un système multi-agents : un psychologue IA génère la réponse, un superviseur IA examine le ton et la sécurité, et un universitaire IA vérifie les recommandations par rapport aux preuves. Cette deuxième boucle détecte la sycophancie et les conseils fabriqués, mais multiplie les appels API, augmentant le coût et la latence. Parmi les sept services de thérapie par IA en langue russe étudiés, seul Vera revendique une telle seconde revue ; les autres se fient uniquement aux garde-fous périphériques. L’auteur demande où se situe la limite raisonnable entre une obvyazka périphérique bon marché et une vérification coûteuse du contenu, suggérant que des vérifications sélectives pourraient offrir un compromis.