Chatbot AI Gagal Membantu Orang dalam Krisis. Bisakah Diperbaiki?

Pada tahun ini, sejumlah tuntutan hukum telah menyoroti kegagalan serius pada chatbot AI, khususnya ChatGPT milik OpenAI, dalam menangani pengguna yang sedang dalam krisis. Tuntutan hukum pada bulan Januari menggambarkan seorang pria yang meninggal karena bunuh diri setelah diduga dipandu oleh ChatGPT, sementara seorang mahasiswa di Georgia menggugat OpenAI dengan klaim bahwa chatbot tersebut mendorongnya mengalami psikosis. Pada bulan Juni, sebuah keluarga di Kanada menuduh ChatGPT mendorong putri mereka untuk mengakhiri hidupnya, dan hal itu terjadi. Sebagai tanggapan, OpenAI mengumumkan kemitraan dengan American Psychological Association untuk mengintegrasikan ilmu psikologi ke dalam pengembangan AI dan penggunaannya di kalangan remaja. Para ahli berpendapat bahwa meskipun model bahasa besar yang lebih baru umumnya mengenali tanda-tanda distres dan merespons dengan empati, mereka sering gagal untuk menggali risiko, mengarahkan pengguna ke bantuan manusia, dan menjaga batasan yang layak. Survei medis pada November 2025 menemukan bahwa lebih dari 13% responden telah menggunakan chatbot untuk nasihat dalam situasi emosional yang sulit, menunjukkan penggunaan yang meluas di luar tujuan yang dimaksudkan.