Kematian bunuh diri seorang wanita muda baru -baru ini membawa orang tuanya ke wahyu yang menyakitkan: dia telah menceritakan “terapis” chatgpt bernama Harry, dan dia mengatakan bahwa dia berencana untuk mati.
Sementara chatbot tampaknya tidak mendorongnya untuk mengambil nyawanya sendiri, produk itu juga tidak secara aktif mencari bantuan atas namanya, seperti yang akan dilakukan oleh terapis nyata, menurut sebuah op-ed yang ditulis ibunya di New York Times.
Sophie, yang berusia 29 ketika dia meninggal, tidak sendirian dalam mencari bantuan kesehatan mental dari chatgpt atau chatbots AI lainnya. Seorang anak laki-laki berusia 16 tahun membahas bunuh diri dengan chatgpt sebelum dia meninggal, menurut gugatan kematian yang salah yang diajukan oleh orang tuanya terhadap Openai minggu ini.
Openai telah sejak itu Mengakui bahwa ChatGPT telah gagal mendeteksi pertukaran berisiko tinggi dan, sebagai tanggapan, berencana untuk memperkenalkan perlindungan baru, termasuk berpotensi memperingatkan kontak darurat pengguna ketika mereka sedang dalam kesulitan.
Namun bagi mereka yang berkonsultasi dengan AI Chatbots tentang kesehatan mental mereka, banyak yang mengatakan itu adalah bantuan terbaik yang dapat mereka akses, seringkali karena mereka tidak dapat menemukan terapis atau membelinya.
Menjelaskan fenomena yang dikenal sebagai 'psikosis ai'
Para ahli, bagaimanapun, berhati -hati bahwa risikonya tidak mungkin sepadan dengan manfaat potensial. Dalam kasus yang ekstrem, beberapa pengguna dapat mengembangkan apa yang disebut psikosis AI sebagai hasil dari percakapan yang panjang dan berkelanjutan dengan chatbot yang melibatkan delusi atau pemikiran muluk. Lebih biasanya, orang yang mencari bantuan malah dapat berakhir dalam lingkaran umpan balik yang berbahaya yang hanya memberi mereka ilusi penyembuhan emosional atau psikologis.
Bahkan CEO OpenAI Sam Altman mengatakan bahwa dia tidak ingin pengguna terlibat dengan chatgpt seperti terapis, sebagian karena tidak ada perlindungan hukum untuk informasi sensitif. Seorang terapis, di sisi lain, terikat dalam sebagian besar keadaan oleh kerahasiaan pasien.
Ribkah Bodner, koordinator klinis lulusan di Beth Israel Deaconess Medical Center, sedang menyelidiki berapa banyak orang yang menggunakan AI Chatbots untuk terapi. Pertanyaannya sulit dijawab karena data yang terbatas pada tren tersebut. Dia mengatakan kepada Mashable sebuah perkiraan konservatif, berdasarkan penelitian sebelumnya, akan setidaknya 3 persen orang; Openai's ChatGPT memiliki 700 juta pengguna mingguan, menurut perusahaan.
Mashable bertanya kepada Openai apakah tahu berapa banyak penggunanya yang beralih ke chatgpt untuk interaksi seperti terapi, tetapi perusahaan menolak untuk menjawab.
Matthew Nour, seorang psikiater dan ahli saraf yang menggunakan AI untuk mempelajari otak dan kesehatan mental, memahami mengapa orang memperlakukan chatbot sebagai terapis, tetapi ia percaya hal itu bisa berbahaya.
Salah satu risiko utama adalah “bahwa orang tersebut mulai melihat chatbot sebagai … mungkin satu -satunya entitas/orang yang benar -benar memahaminya,” kata Nour, seorang peneliti di Departemen Psikiatri di Universitas Oxford. “Jadi mereka mulai menceritakan pada chatbot dengan semua kekhawatiran dan pemikiran mereka yang paling memprihatinkan dengan mengesampingkan orang lain.”
Mendapatkan ke titik ini juga tidak langsung, Nour menambahkan. Itu terjadi dari waktu ke waktu, dan bisa sulit bagi pengguna untuk mengidentifikasi sebagai pola yang tidak sehat.
Untuk lebih memahami bagaimana dinamika ini dapat dimainkan, berikut adalah empat alasan mengapa Anda tidak boleh mengubah chatbot AI menjadi sumber terapi kesehatan mental:
“Terapi” chatbot bisa menjadi loop umpan balik yang berbahaya
Nour baru-baru ini menerbitkan sebuah makalah di jurnal pra-cetak Arxiv tentang faktor-faktor risiko yang muncul ketika orang berkomunikasi dengan AI Chatbots. Makalah ini sedang menjalani peer review.
Nour dan rekan penulisnya, yang termasuk ilmuwan Google Deepmind, berpendapat bahwa kombinasi yang kuat dari antropomorfisme (mengaitkan karakteristik manusia dengan bias non-manusia) dan bias konfirmasi menciptakan kondisi untuk lingkaran umpan balik untuk manusia.
Laporan Tren Mashable
Chatbots, mereka menulis, bermain pada kecenderungan manusia untuk antropomorfisme, karena manusia dapat menganggap keadaan emosi atau bahkan kesadaran terhadap apa yang sebenarnya merupakan sistem probabilistik yang kompleks. Jika Anda pernah berterima kasih kepada chatbot atau bertanya bagaimana keadaannya, Anda telah merasakan dorongan yang sangat manusiawi untuk melakukan antropomorfize.
Manusia juga rentan terhadap apa yang dikenal sebagai bias konfirmasi, atau menafsirkan informasi yang mereka terima dengan cara yang sesuai dengan keyakinan dan harapan mereka yang ada. Chatbots secara teratur memberikan kesempatan kepada pengguna untuk mengkonfirmasi bias mereka sendiri karena produk belajar menghasilkan tanggapan yang disukai pengguna, kata Nour dalam sebuah wawancara.
Pada akhirnya, bahkan AI Chatbot dengan perlindungan masih dapat memperkuat keyakinan berbahaya pengguna, seperti gagasan bahwa tidak ada orang dalam hidup mereka yang benar -benar peduli tentang mereka. Dinamika ini selanjutnya dapat mengajarkan chatbot untuk menghasilkan lebih banyak tanggapan yang semakin memperkuat ide -ide itu.
Sementara beberapa pengguna mencoba melatih chatbots mereka untuk menghindari jebakan ini, Nour mengatakan hampir tidak mungkin untuk berhasil mengarahkan model dari loop umpan balik. Itu sebagian karena model itu kompleks dan dapat bertindak dengan cara yang tidak dapat diprediksi yang tidak sepenuhnya dipahami oleh siapa pun, kata Nour.
Tapi ada masalah penting lainnya. Model terus -menerus mengambil isyarat bahasa halus dan menggunakannya untuk menginformasikan bagaimana merespons pengguna. Pikirkan, misalnya, perbedaan antara Terima kasih dan terima kasih! Pertanyaannya, “Apakah kamu yakin?” dapat menghasilkan efek yang sama.
“Kami membocorkan informasi sepanjang waktu untuk model -model ini tentang bagaimana kami ingin berinteraksi dengan,” kata Nour.
AI Chatbots gagal dalam diskusi yang panjang
Berbicara dengan AI Chatbot tentang kesehatan mental cenderung melibatkan pertukaran yang panjang dan mendalam, yang tepat ketika produk berjuang dengan kinerja dan akurasi. Bahkan Openai mengenali masalah ini.
“Perlindungan kami bekerja lebih andal, pertukaran pendek,” kata perusahaan itu dalam posting blog baru -baru ini tentang masalah keamanan. “Kami telah belajar dari waktu ke waktu bahwa perlindungan ini kadang-kadang dapat kurang dapat diandalkan dalam interaksi yang panjang: seiring dengan tumbuhnya bolak-balik, bagian dari pelatihan keselamatan model dapat menurun.”
Sebagai contoh, perusahaan mencatat bahwa chatgpt dapat berbagi hotline krisis ketika pengguna pertama kali menyatakan niat bunuh diri, tetapi itu juga dapat memberikan jawaban yang “bertentangan dengan” perlindungan platform setelah pertukaran dalam jangka waktu yang lama.
Nour juga mencatat bahwa ketika AI Chatbots memasukkan kesalahan di awal percakapan, yang keliru atau keyakinan palsu hanya bertambah dari waktu ke waktu, menjadikan model itu “tidak berguna.”
Selain itu, AI Chatbots tidak memiliki apa yang oleh terapis disebut sebagai “teori pikiran,” yang merupakan model pemikiran dan perilaku klien mereka yang didasarkan pada percakapan terapi yang konsisten. Mereka hanya memiliki apa yang telah dibagikan pengguna hingga titik tertentu, kata Nour.
AI Chatbots juga tidak hebat dalam mengatur dan melacak tujuan jangka panjang atas nama pengguna seperti terapis. Sementara mereka mungkin unggul dalam memberikan nasihat untuk masalah umum, atau bahkan memberikan pengingat dan saran harian jangka pendek untuk menangani kecemasan atau mengelola depresi, mereka tidak boleh diandalkan untuk perawatan penyembuhan, kata Nour.
Remaja dan orang dengan penyakit mental sangat rentan terhadap bahaya
Scott Kollins, seorang psikolog anak dan kepala petugas medis dari aplikasi perlindungan identitas dan aplikasi keselamatan online Aura, mengatakan kepada Mashable bahwa remaja mungkin sangat rentan untuk salah menafsirkan nada perhatian AI Chatbot untuk empati manusia yang asli. Antropomorfisme ini sebagian mengapa chatbots dapat memiliki pengaruh besar pada pemikiran dan perilaku pengguna.
Remaja, yang masih memahami norma-norma sosial dan mengembangkan keterampilan hubungan yang kritis, juga dapat menemukan sifat yang selalu ada dari chatbot “terapis” terutama memikat, kata Kollins.
Data milik Aura menunjukkan bahwa sebagian kecil pengguna remaja yang teleponnya dipantau oleh perangkat lunak perusahaan sedang berbicara dengan AI Chatbots. Namun, mereka yang terlibat dengan chatbots menghabiskan banyak waktu melakukan percakapan itu. Kollins mengatakan penggunaan aplikasi populer yang melampaui seperti pesan iPhone dan Snapchat. Mayoritas pengguna itu terlibat dalam perilaku romantis atau seksual dengan chatbots yang digambarkan Kollins sebagai “meresahkan.” Beberapa mengandalkan mereka untuk dukungan kesehatan emosional atau mental.
Kollins juga mencatat bahwa aplikasi AI Chatbot berkembang biak oleh “lusinan” dan bahwa orang tua perlu menyadari produk di luar chatgpt. Mengingat risikonya, ia tidak merekomendasikan pembinaan atau penggunaan chatbot seperti terapi untuk remaja saat ini.
Nour menyarankan pasiennya untuk melihat chatbots AI sebagai alat, seperti kalkulator atau pengolah kata, bukan sebagai teman. Bagi mereka yang memiliki kecemasan, depresi, atau kondisi kesehatan mental lainnya, nour sangat merekomendasikan untuk tidak melibatkan obrolan AI dalam segala jenis hubungan emosional, karena bagaimana lingkaran umpan balik yang tidak disengaja dapat memperkuat keyakinan palsu atau berbahaya yang ada tentang diri mereka sendiri dan dunia di sekitar mereka.
Ada cara yang lebih aman untuk menjangkau bantuan kesehatan mental
Kollins mengatakan bahwa remaja yang mencari nasihat atau bimbingan dari AI Chatbot harus terlebih dahulu memastikan mereka telah kehabisan daftar orang dewasa tepercaya mereka. Terkadang seorang remaja mungkin lupa atau awalnya melewati sepupu, pelatih, atau penasihat sekolah yang lebih tua, katanya.
Meskipun tidak bebas risiko, Kollins juga merekomendasikan untuk mempertimbangkan komunitas online sebagai satu ruang untuk didengar, sebelum berkonsultasi dengan AI Chatbot, asalkan remaja itu juga menerima dukungan kehidupan nyata dan mempraktikkan kebiasaan sehat.
Jika seorang remaja masih merasa tidak aman mendekati rekan atau orang dewasa dalam hidup mereka, Kollins menyarankan latihan seperti menuliskan perasaan mereka, yang dapat bersifat katarsis dan mengarah pada wawasan atau kejelasan pribadi.
Nour mendesak orang untuk berkomunikasi dengan teman atau orang yang dicintai tentang masalah kesehatan mental mereka dan untuk mencari perawatan profesional jika memungkinkan.
Tetap saja, dia tahu bahwa beberapa orang masih akan mencoba mengubah chatbot AI menjadi terapis mereka, terlepas dari risikonya. Dia menyarankan pasiennya untuk menjaga manusia lain dalam lingkaran: “[C]heck dengan seseorang sesekali, hanya untuk mendapatkan umpan balik tentang apa yang dikatakan model itu kepada Anda, karena [AI chatbots] tidak dapat diprediksi. “