Los chatbots de IA han fallado a personas en crisis. ¿Se puede solucionar?

Este año, múltiples demandas han puesto de manifiesto graves fallos de los chatbots de IA, en particular el ChatGPT de OpenAI, a la hora de tratar con usuarios en crisis. Una demanda de enero describió el caso de un hombre que falleció por suicidio tras supuestamente recibir indicaciones de ChatGPT, mientras que una estudiante de Georgia demandó a OpenAI alegando que el chatbot la llevó a la psicosis. En junio, una familia canadiense denunció que ChatGPT animó a su hija a poner fin a su vida, lo cual ocurrió. En respuesta, OpenAI anunció una alianza con la Asociación Estadounidense de Psicología para integrar la ciencia psicológica en el desarrollo y uso de la IA entre los jóvenes. Los expertos sugieren que, si bien los modelos de lenguaje más recientes suelen reconocer el malestar y responder con empatía, a menudo no indagan sobre el riesgo, no orientan a los usuarios hacia atención humana y no mantienen los límites adecuados. Una encuesta médica de noviembre de 2025 reveló que más del 13% de los encuestados había utilizado chatbots para pedir consejo en situaciones emocionales difíciles, lo que indica un uso generalizado más allá de los fines previstos.