Character.AI将禁止青少年与人工智能角色交流

# Character.AI 将禁止青少年与AI角色互动

原因是一系列的法律诉讼和悲惨事件

与人工智能角色交流的平台Character.AI将限制18岁以下用户的访问。原因是一系列的诉讼。

«我们很难做出停止自由交流功能的决定，但我们认为这是在当前情况下唯一正确的选择」，项目声明中表示

直到11月25日，未成年人与机器人的互动时间将受到限制。最初，限制为每天两个小时，随后将逐步减少到完全关闭聊天。

Character.AI将为青少年提供其他创作形式：制作视频、撰写故事和通过使用AI角色进行直播。

为了验证用户年龄，该平台将实施一个综合系统，该系统将结合Character.AI的自有开发和像Persona这样的第三方供应商的解决方案。

与此同时，平台将创建并资助一个非营利的AI安全实验室。该项目将致力于为人工智能的娱乐功能制定新的安全标准。

调查

对Character.AI提起了几起诉讼。其中一起是来自一名14岁少年母亲的诉讼，因其在2024年因迷恋《权力的游戏》中的角色机器人而自杀。

在收到一系列投诉后，该平台已经实施了家长控制、使用时间通知，并且过滤了角色的回答。

在八月，OpenAI分享了在处理“敏感情况”时改进ChatGPT的计划。那时，原因也是因为一个家庭提起的诉讼，他们指责聊天机器人对他们儿子发生的悲剧负有责任。

Meta也采取了类似的措施。该公司改变了基于人工智能的聊天机器人培训方法，强调青少年的安全性。

随后，OpenAI 宣布计划将私人对话转向推理模型，并引入家长控制。九月，公司推出了针对青少年的聊天机器人版本。

批评

10月27日，OpenAI发布的数据表明，大约120万的800万每周活跃用户在与ChatGPT讨论有关自杀的问题。

还有560,000用户表现出精神病或狂躁的迹象，1.2百万用户对机器人表现出增强的情感依恋

«我们最近更新了ChatGPT模型，以便更好地识别用户在压力时刻并提供支持。除了标准的安全指标，我们还在基础测试套件中加入了情感依赖和非自杀危机的评估——这将成为所有未来模型的标准», — 公司代表指出

然而，许多人认为上述措施可能不够。前OpenAI安全研究员斯蒂芬·阿德勒警告说，开发人工智能的竞争存在危险。

根据他所说，支持 ChatGPT 的公司实际上几乎没有证据表明对脆弱用户的保护有真正的改善。

令人兴奋的是，OpenAI昨天发布了一些心理健康方面的信息，而之前他们提供的改善证据几乎为零。 我很高兴他们这样做了，尽管我仍然有一些担忧。

— 史蒂文·阿德勒 (@sjgadler) 2025 年 10 月 28 日

«人们值得比仅仅关于解决安全问题的言辞更多。换句话说：证明你们确实做了一些事情》，他指出

阿德勒赞扬了OpenAI提供的有关用户心理健康的一些信息，但呼吁“进一步深入”

在十月初，前初创公司的员工对发生在加拿大人阿伦·布鲁克斯身上的事件进行了分析。这名男子在ChatGPT系统性地支持他对革命性数学原理的发现的信念后，陷入了疯狂的状态。

阿德勒发现，OpenAI与麻省理工学院共同开发的工具会将超过80%的聊天回复识别为潜在危险。在他看来，这家初创公司实际上并没有在实践中使用保护机制。

ChatGPT的回答多频繁地激活了荒谬状态的分类器。来源：斯蒂芬·阿德勒的研究

«我希望OpenAI能更加努力地在媒体压力或诉讼出现之前做出正确的决策», — 一位专家写道.

提醒大家，在十月份的研究中发现了由于社交媒体导致人工智能退化的迹象。