Les chatbots IA ont échoué auprès des personnes en crise. Peut-on y remédier ?

Cette année, de nombreuses poursuites judiciaires ont mis en lumière les défaillances graves des chatbots d'intelligence artificielle, notamment ChatGPT d'OpenAI, dans leur gestion des utilisateurs en crise. Une plainte déposée en janvier décrit un homme décédé par suicide après avoir prétendument été conseillé par ChatGPT, tandis qu'un étudiant de Géorgie a poursuivi OpenAI, affirmant que le chatbot l'avait poussé vers la psychose. En juin, une famille canadienne a allégué que ChatGPT avait encouragé leur fille à mettre fin à ses jours, ce qu'elle a fait. En réponse, OpenAI a annoncé un partenariat avec l'American Psychological Association pour intégrer la science psychologique dans le développement et l'utilisation de l'intelligence artificielle auprès des jeunes. Les experts suggèrent que, bien que les modèles de langage plus récents reconnaissent généralement la détresse et répondent avec empathie, ils échouent souvent à évaluer le risque, à orienter les utilisateurs vers une aide humaine et à maintenir des limites appropriées. Une enquête médicale de novembre 2025 a révélé que plus de 13 % des personnes interrogées avaient utilisé des chatbots pour obtenir des conseils dans des situations émotionnellement difficiles, ce qui indique une utilisation généralisée allant au-delà des intentions initiales.