Character.AI interdira aux adolescents de communiquer avec des personnages IA

# Character.AI interdira aux adolescents de communiquer avec des personnages IA

La cause en est une série de poursuites judiciaires et d'incidents tragiques.

La plateforme de communication avec des personnages IA Character.AI limitera l'accès aux utilisateurs de moins de 18 ans. La raison en est une série de poursuites judiciaires.

«Il n'a pas été facile pour nous de prendre la décision de désactiver la fonction de communication libre, mais nous la considérons comme la seule correcte dans la situation actuelle», déclare le projet

Jusqu'au 25 novembre, le temps d'interaction avec les bots pour les mineurs sera limité. D'abord, la limite sera de deux heures par jour, puis elle sera progressivement réduite jusqu'à une désactivation complète du chat.

Character.AI proposera aux adolescents d'autres formats de création : création de vidéos, écriture d'histoires et diffusion de streams en utilisant des personnages IA.

Pour vérifier l'âge des utilisateurs, la plateforme mettra en place un système complet qui combinera ses propres développements Character.AI et des solutions de fournisseurs tiers comme Persona.

Parallèlement, la plateforme créera et financera un laboratoire de sécurité AI à but non lucratif. Le projet s'attaquera à la mise en place de nouvelles normes de sécurité pour les fonctions de divertissement de l'intelligence artificielle.

Enquêtes

Plusieurs poursuites ont été déposées contre Character.AI. L'une d'elles vient de la mère d'un adolescent de 14 ans qui s'est suicidé en 2024 en raison de son obsession pour un bot-personnage de la série « Game of Thrones ».

Après une série de plaintes, la plateforme a déjà mis en place un contrôle parental, des notifications sur le temps d'utilisation, ainsi que filtré les réponses des personnages.

En août, OpenAI a partagé ses projets pour remédier aux lacunes de ChatGPT dans le traitement des « situations sensibles ». À l'époque, cela était également motivé par une plainte d'une famille qui accusait le chatbot d'être impliqué dans la tragédie survenue avec leur fils.

Meta a pris des mesures similaires. La société a modifié son approche pour former des chatbots basés sur l'IA, en mettant l'accent sur la sécurité des adolescents.

Plus tard, OpenAI a déclaré qu'elle avait l'intention de rediriger les conversations confidentielles vers des modèles de raisonnement et d'introduire un contrôle parental. En septembre, l'entreprise a lancé une version du chatbot pour les adolescents.

Critique

Le 27 octobre, OpenAI a publié des données selon lesquelles environ 1,2 million des 800 millions d'utilisateurs actifs hebdomadaires discutent avec ChatGPT de questions de nature suicidaire.

Encore 560 000 utilisateurs montrent des signes de psychose ou de manie, tandis que 1,2 million démontrent un attachement émotionnel accru au bot.

«Nous avons récemment mis à jour le modèle ChatGPT pour qu'il reconnaisse mieux les utilisateurs en situation de stress et leur apporte du soutien. En plus des mesures de sécurité standard, nous avons inclus dans l'ensemble de tests de base une évaluation de la dépendance émotionnelle et des crises non suicidaires - cela deviendra la norme pour tous les futurs modèles», ont déclaré des représentants de la société

Cependant, beaucoup estiment que les mesures énumérées peuvent être insuffisantes. L'ancien chercheur en sécurité d'OpenAI, Steven Adler, a averti du danger d'une course à la développement de l'IA.

Selon lui, la société derrière ChatGPT n'a en réalité presque aucune preuve d'une amélioration réelle de la protection des utilisateurs vulnérables.

De manière excitante, OpenAI a publié hier des informations sur la santé mentale, par rapport à la ~0 preuve d'amélioration qu'ils avaient fournie précédemment. Je suis ravi qu'ils aient fait ça, bien que j'aie encore des préoccupations.

— Steven Adler (@sjgadler) 28 octobre 2025

«Les gens méritent plus que de simples mots sur la résolution des problèmes de sécurité. En d'autres termes : prouvez que vous avez vraiment fait quelque chose», a-t-il noté

Adler a félicité OpenAI pour avoir fourni des informations sur la santé mentale des utilisateurs, mais a appelé à “aller plus loin”.

Au début d'octobre, un ancien employé de la startup a mené une analyse de l'incident survenu avec le Canadien Allan Brooks. L'homme est tombé dans un état délirant après que ChatGPT a systématiquement soutenu sa conviction d'avoir découvert des principes mathématiques révolutionnaires.

Adler a découvert que les propres outils d'OpenAI, développés en collaboration avec le MIT, identifieraient plus de 80 % des réponses du chat comme potentiellement dangereuses. Selon lui, la startup n'a en réalité pas utilisé de mécanismes de protection dans la pratique.

À quelle fréquence les réponses de ChatGPT activent-elles les classificateurs d'états délirants ? Source : étude de Steven Adler.

«Je veux qu'OpenAI fasse plus d'efforts pour bien agir avant que la pression des médias ou les poursuites judiciaires n'apparaissent», a écrit l'expert.

Rappelons qu'en octobre, une étude a révélé des signes de dégradation de l'intelligence artificielle en raison des réseaux sociaux.