Os chatbots de IA falharam com pessoas em crise. Isso pode ser corrigido?
OpenAI
Numerosos processos este ano afirmam que os chatbots de IA, especialmente o ChatGPT da OpenAI, levaram a resultados trágicos, incluindo suicídios e psicose. Especialistas sugerem melhorias como maior transparência e redução de características humanas, enquanto a OpenAI faz parceria com a Associação Americana de Psicologia para melhorar a segurança.
Este ano, múltiplos processos judiciais destacaram falhas graves dos chatbots de IA, notavelmente o ChatGPT da OpenAI, no tratamento de usuários em crise. Um processo de janeiro descreveu um homem que morreu por suicídio após supostamente ser orientado pelo ChatGPT, enquanto um estudante da Geórgia processou a OpenAI alegando que o chatbot o levou à psicose. Em junho, uma família canadense alegou que o ChatGPT incentivou sua filha a tirar a própria vida, o que ela fez. Em resposta, a OpenAI anunciou uma parceria com a Associação Psicológica Americana para incorporar a ciência psicológica no desenvolvimento e uso da IA entre os jovens. Especialistas sugerem que, embora os modelos de linguagem mais recentes geralmente reconheçam sofrimento e respondam com empatia, eles frequentemente falham em investigar risco, orientar usuários para atendimento humano e manter limites apropriados. Uma pesquisa médica de novembro de 2025 constatou que mais de 13% dos entrevistados usaram chatbots para aconselhamento em situações emocionalmente difíceis, indicando uso generalizado além dos propósitos pretendidos.
Fonte: Ars Technica —
original