Character.AI заборонить підліткам спілкуватися з ІІ-персонажами

# Character.AI заборонить підліткам спілкуватися з ІІ-персонажами

Причиною стала серія судових позовів і трагічних інцидентів

Платформа для спілкування з ІІ-персонажами Character.AI обмежить доступ для користувачів молодше 18 років. Причиною стала серія судових позовів

«Нам нелегко далося рішення про відключення функції вільної комунікації, але ми вважаємо його єдино вірним у поточній ситуації», — йдеться в заяві проєкту

До 25 листопада час взаємодії з ботами для неповнолітніх буде обмежено. Спочатку ліміт складе дві години на день, а потім його поступово скоротять до повного відключення чату.

Character.AI запропонує підліткам інші формати творчості: створення відео, написання історій та проведення стрімів з використанням ІІ-персонажів.

Для перевірки віку користувачів платформа впровадить комплексну систему, яка об'єднає власні розробки Character.AI та рішення сторонніх постачальників, таких як Persona

Паралельно платформа створить і буде фінансувати некомерційний AI Safety Lab. Проект займеться формуванням нових стандартів безпеки для розважальних функцій штучного інтелекту.

Розслідування

Проти Character.AI подали кілька судових позовів. Один з них — від матері 14-річного підлітка, який покінчив із собою у 2024 році через одержимість ботом-персонажем з серіалу «Гра престолів».

Після черги скарг платформа вже впровадила батьківський контроль, сповіщення про час використання, а також відфільтрувала відповіді персонажів

У серпні OpenAI поділилася планами щодо усунення недоліків ChatGPT під час роботи з «чутливими ситуаціями». Тоді приводом також став позов від родини, яка звинуватила чат-бота у трагедії, що сталася з їхнім сином.

На аналогічні заходи пішла Meta. Корпорація змінила підхід до навчання чат-ботів на базі ШІ, зробивши акцент на безпеці підлітків.

Пізніше OpenAI заявила, що має намір перенаправляти конфіденційні розмови на моделі міркувань і ввести батьківський контроль. У вересні компанія запустила версію чат-бота для підлітків

Критика

27 жовтня OpenAI опублікувала дані, згідно з якими приблизно 1,2 млн з 800 млн щотижнево активних користувачів обговорюють з ChatGPT питання суїцидального характеру

Ще 560 000 юзерів проявляють ознаки психозу або манії, а 1,2 млн демонструють підвищену емоційну прив'язаність до бота

«Ми нещодавно оновили модель ChatGPT, щоб вона краще розпізнавала користувачів у моменти стресу та надавала їм підтримку. Окрім стандартних метрик безпеки, ми включили в базовий тестовий набір оцінку емоційної залежності та несуїцидальних криз — це стане стандартом для всіх майбутніх моделей», — зазначили представники компанії

Однак багато хто вважає, що перелічених заходів може бути недостатньо. Колишній дослідник безпеки OpenAI Стівен Адлер попередив про небезпеку гонки у розробці ШІ

За його словами, у компанії, що стоїть за ChatGPT, насправді майже немає доказів реального поліпшення захисту вразливих користувачів.

<вражаюче, OpenAI вчора опублікував деякі дані про психічне здоров'я, в порівнянні з ~0 доказами покращення, які вони надавали раніше. Я радий, що вони це зробили, хоча в мене все ще є занепокоєння.

— Стівен Адлер (@sjgadler) 28 жовтня 2025

«Люди заслуговують на більше, ніж просто слова про усунення проблем безпеки. Іншими словами: доведіть, що ви дійсно щось зробили», — зазначив він

Адлер похвалив OpenAI за надання деякої інформації про психічне здоров'я користувачів, але закликав «іти далі»

На початку жовтня екс-співробітник стартапу провів аналіз інциденту, що стався з канадцем Алланом Бруксом. Чоловік занурився в бредовий стан після того, як ChatGPT систематично підтримував його переконання в відкритті революційних математичних принципів

Адлер з'ясовував, що власні інструменти OpenAI, розроблені спільно з MIT, ідентифікували б понад 80% відповідей чату як потенційно небезпечні. На його думку, стартап насправді не використовував захисні механізми на практиці.

Наскільки часто відповіді ChatGPT активували класифікатори бредових станів. Джерело: дослідження Стівена Адлера

«Я хочу, щоб OpenAI докладала більше зусиль, щоб діяти правильно до того, як з’явиться тиск з боку ЗМІ чи судові позови», — написав експерт.

Нагадаємо, в жовтні дослідження виявило ознаки деградації штучного інтелекту через соцмережі