Character.AI akan melarang remaja berkomunikasi dengan karakter AI

# Character.AI akan melarang remaja berkomunikasi dengan karakter AI.

Penyebabnya adalah serangkaian tuntutan hukum dan insiden tragis.

Platform untuk berkomunikasi dengan karakter AI Character.AI akan membatasi akses untuk pengguna di bawah 18 tahun. Penyebabnya adalah serangkaian tuntutan hukum.

«Kami tidak mudah mengambil keputusan untuk menonaktifkan fungsi komunikasi bebas, tetapi kami menganggapnya satu-satunya keputusan yang benar dalam situasi saat ini», — bunyi pernyataan proyek

Hingga 25 November, waktu interaksi dengan bot untuk anak di bawah umur akan dibatasi. Awalnya, batasnya adalah dua jam per hari, dan kemudian secara bertahap akan dikurangi hingga pemutusan total chat.

Character.AI akan menawarkan remaja format kreativitas lain: membuat video, menulis cerita, dan melakukan streaming dengan menggunakan karakter AI.

Untuk memverifikasi usia pengguna, platform akan menerapkan sistem komprehensif yang menggabungkan pengembangan internal Character.AI dan solusi dari penyedia pihak ketiga seperti Persona.

Secara paralel, platform akan menciptakan dan membiayai AI Safety Lab non-profit. Proyek ini akan fokus pada pembentukan standar keamanan baru untuk fungsi hiburan kecerdasan buatan.

Penyelesaian Masalah

Beberapa gugatan diajukan terhadap Character.AI. Salah satunya adalah dari ibu seorang remaja berusia 14 tahun yang bunuh diri pada tahun 2024 karena terobsesi dengan bot karakter dari serial “Game of Thrones”.

Setelah serangkaian keluhan, platform telah menerapkan kontrol orang tua, pemberitahuan waktu penggunaan, serta memfilter jawaban karakter.

Pada bulan Agustus, OpenAI membagikan rencana untuk mengatasi kekurangan ChatGPT saat berurusan dengan “situasi sensitif”. Saat itu, penyebabnya juga merupakan gugatan dari sebuah keluarga yang menuduh chatbot tersebut terlibat dalam tragedi yang menimpa putra mereka.

Meta juga mengambil langkah serupa. Korporasi ini mengubah pendekatannya dalam melatih chatbot berbasis AI, dengan menekankan pada keamanan remaja.

Kemudian OpenAI menyatakan bahwa mereka berniat untuk mengalihkan percakapan pribadi ke model pemikiran dan memperkenalkan kontrol orang tua. Pada bulan September, perusahaan meluncurkan versi chatbot untuk remaja.

Kritik

Pada 27 Oktober, OpenAI menerbitkan data yang menunjukkan bahwa sekitar 1,2 juta dari 800 juta pengguna aktif mingguan mendiskusikan masalah berkarakter bunuh diri dengan ChatGPT.

Sebanyak 560.000 pengguna menunjukkan tanda-tanda psikos atau mania, dan 1,2 juta menunjukkan keterikatan emosional yang tinggi terhadap bot.

«Kami baru-baru ini memperbarui model ChatGPT agar dapat lebih baik mengenali pengguna dalam momen stres dan memberikan dukungan kepada mereka. Selain metrik keamanan standar, kami telah memasukkan penilaian ketergantungan emosional dan krisis non-suicidal dalam rangkaian pengujian dasar — ini akan menjadi standar untuk semua model masa depan», — catat perwakilan perusahaan

Namun banyak yang berpendapat bahwa langkah-langkah yang disebutkan mungkin tidak cukup. Mantan peneliti keamanan OpenAI Stephen Adler memperingatkan tentang bahaya perlombaan dalam pengembangan AI.

Menurutnya, perusahaan di balik ChatGPT sebenarnya hampir tidak memiliki bukti nyata peningkatan perlindungan bagi pengguna yang rentan.

Menariknya, OpenAI kemarin mengeluarkan beberapa informasi tentang kesehatan mental, dibandingkan dengan ~0 bukti perbaikan yang mereka berikan sebelumnya. Saya senang mereka melakukan ini, meskipun saya masih memiliki kekhawatiran.

— Steven Adler (@sjgadler) 28 Oktober 2025

«Orang-orang pantas mendapatkan lebih dari sekadar kata-kata tentang mengatasi masalah keamanan. Dengan kata lain: buktikan bahwa Anda benar-benar melakukan sesuatu», — catatnya

Adler memuji OpenAI karena memberikan informasi tentang kesehatan mental pengguna, tetapi menyerukan untuk “melangkah lebih jauh”.

Pada awal Oktober, mantan karyawan startup melakukan analisis insiden yang terjadi dengan warga Kanada, Allan Brooks. Pria itu terjebak dalam keadaan delusi setelah ChatGPT secara sistematis mendukung keyakinannya akan penemuan prinsip matematika revolusioner.

Adler menyelidiki bahwa alat-alat OpenAI yang dikembangkan bersama MIT akan mengidentifikasi lebih dari 80% jawaban obrolan sebagai berpotensi berbahaya. Menurutnya, startup tersebut sebenarnya tidak menerapkan mekanisme perlindungan dalam praktiknya.

Seberapa sering jawaban ChatGPT mengaktifkan pengklasifikasi keadaan gila. Sumber: penelitian Steven Adler

«Saya ingin OpenAI berusaha lebih keras untuk melakukan hal yang benar sebelum ada tekanan dari media atau gugatan hukum», — tulis ahli.

Kami ingatkan, pada bulan Oktober, penelitian mengungkapkan tanda-tanda degradasi kecerdasan buatan akibat media sosial.