Character.AI, platform chatbot populer di mana pengguna bermain peran dengan persona yang berbeda, tidak lagi mengizinkan pemegang akun di bawah 18 tahun untuk melakukan percakapan terbuka dengan chatbot, perusahaan tersebut mengumumkan pada hari Rabu. Mereka juga akan mulai mengandalkan teknik jaminan usia untuk memastikan bahwa anak di bawah umur tidak dapat membuka akun dewasa.
Pergeseran dramatis ini terjadi hanya enam minggu setelah Character.AI digugat lagi di pengadilan federal oleh banyak orang tua dari remaja yang meninggal karena bunuh diri atau diduga mengalami kekerasan parah, termasuk pelecehan seksual; orang tua mengklaim bahwa penggunaan platform oleh anak-anak mereka bertanggung jawab atas kerugian tersebut. Pada bulan Oktober 2024, Megan Garcia mengajukan tuntutan kematian yang tidak wajar untuk meminta pertanggungjawaban perusahaan atas bunuh diri putranya, dengan alasan bahwa produknya sangat cacat.
Pendukung keamanan online baru-baru ini menyatakan Character.AI tidak aman bagi remaja setelah mereka menguji platform tersebut pada musim semi ini dan mencatat ratusan interaksi berbahaya, termasuk kekerasan dan eksploitasi seksual.
Saat menghadapi tekanan hukum pada tahun lalu, Character.AI menerapkan kontrol orang tua dan filter konten dalam upaya meningkatkan keamanan bagi remaja.
Character.AI tidak aman untuk remaja, kata para ahli
Dalam sebuah wawancara dengan Mashable, CEO Character.AI Karandeep Anand menggambarkan kebijakan baru ini sebagai kebijakan yang “berani” dan menyangkal bahwa membatasi percakapan chatbot terbuka dengan remaja adalah respons terhadap masalah keamanan tertentu.
Sebaliknya, Anand menyebut keputusan tersebut sebagai “hal yang benar untuk dilakukan” mengingat masih banyaknya pertanyaan yang belum terjawab mengenai dampak jangka panjang dari keterlibatan chatbot terhadap remaja. Anand merujuk pada pengakuan OpenAI baru-baru ini, setelah seorang pengguna remaja melakukan bunuh diri, bahwa percakapan yang panjang tidak dapat diprediksi.
Anand menjadikan kebijakan baru Character.AI sebagai penetapan standar: “Mudah-mudahan kebijakan ini dapat mengarahkan semua orang pada jalur di mana AI dapat terus aman bagi semua orang.”
Dia menambahkan bahwa keputusan perusahaan tidak akan berubah, terlepas dari reaksi pengguna.
Seperti apa Character.AI bagi remaja saat ini?
Dalam postingan blog yang mengumumkan kebijakan baru tersebut, Character.AI meminta maaf kepada pengguna remajanya.
Laporan Tren yang Dapat Dihancurkan
“Kami tidak menganggap enteng langkah menghapus obrolan Karakter terbuka ini – tapi kami pikir ini adalah hal yang benar untuk dilakukan mengingat pertanyaan yang muncul tentang bagaimana remaja melakukan, dan seharusnya, berinteraksi dengan teknologi baru ini,” tulis postingan blog tersebut.
Saat ini, pengguna berusia 13 hingga 17 tahun dapat mengirim pesan dengan chatbots di platform. Fitur tersebut tidak akan ada lagi paling lambat tanggal 25 November. Hingga saat itu, akun yang didaftarkan untuk anak di bawah umur akan mengalami batasan waktu mulai dari dua jam per hari. Batasan tersebut akan berkurang seiring dengan semakin dekatnya transisi dari obrolan terbuka.
Character.AI akan melihat pemberitahuan tentang perubahan yang akan terjadi pada platform.
Kredit: Atas perkenan Character.AI
Meskipun obrolan terbuka akan hilang, riwayat obrolan remaja dengan chatbot individu akan tetap ada. Anand mengatakan pengguna dapat memanfaatkan materi tersebut untuk menghasilkan cerita audio dan video pendek dengan chatbot favorit mereka. Dalam beberapa bulan ke depan, Character.AI juga akan mengeksplorasi fitur-fitur baru seperti gaming. Anand yakin penekanan pada “hiburan AI” tanpa obrolan terbuka akan memuaskan minat kreatif remaja terhadap platform tersebut.
“Mereka datang untuk bermain peran, dan datang untuk mendapatkan hiburan,” kata Anand.
Dia bersikeras bahwa riwayat obrolan yang berisi konten sensitif atau terlarang yang sebelumnya mungkin tidak terdeteksi oleh filter, seperti kekerasan atau seks, tidak akan masuk ke dalam cerita audio atau video baru.
Seorang juru bicara Character.AI mengatakan kepada Mashable bahwa tim kepercayaan dan keamanan perusahaan meninjau temuan laporan yang diterbitkan bersama pada bulan September oleh Heat Initiative yang mendokumentasikan pertukaran chatbot berbahaya dengan akun pengujian yang terdaftar untuk anak di bawah umur. Tim menyimpulkan bahwa beberapa percakapan melanggar pedoman konten platform sementara percakapan lainnya tidak. Mereka juga mencoba mereplikasi temuan laporan tersebut.
“Berdasarkan hasil ini, kami menyempurnakan beberapa pengklasifikasi kami, sejalan dengan tujuan kami agar pengguna mendapatkan pengalaman yang aman dan menarik di platform kami,” kata juru bicara tersebut.
Apapun itu, Character.AI akan segera meluncurkan jaminan usia. Ini akan memakan waktu satu bulan untuk mulai berlaku dan akan memiliki banyak lapisan. Anand mengatakan perusahaannya sedang membangun model jaminannya sendiri tetapi akan bermitra dengan perusahaan pihak ketiga dalam teknologi tersebut.
Ini juga akan menggunakan data dan sinyal yang relevan, seperti apakah pengguna memiliki akun berusia di atas 18 tahun yang terverifikasi di platform lain, untuk secara akurat mendeteksi usia pengguna baru dan lama. Terakhir, jika pengguna ingin menentang penentuan usia Character.AI, mereka akan memiliki kesempatan untuk memberikan verifikasi melalui pihak ketiga, yang akan menangani dokumen dan data sensitif, termasuk tanda pengenal yang dikeluarkan negara.
Terakhir, sebagai bagian dari kebijakan baru ini, Character.AI mendirikan dan mendanai lembaga nirlaba independen yang disebut AI Safety Lab. Laboratorium ini akan fokus pada “teknik keselamatan baru”.
“[W]Kami ingin mendatangkan pakar industri dan mitra lainnya untuk terus memastikan AI tetap aman, terutama di bidang hiburan AI,” kata Anand.