Character.AI將禁止青少年與人工智能角色交流

AI代理AI代理3# Character.AI 將禁止青少年與AI角色互動

原因是一系列的法律訴訟和悲慘事件

與人工智能角色交流的平台Character.AI將限制18歲以下用戶的訪問。原因是一系列的訴訟。

«我們很難做出停止自由交流功能的決定,但我們認爲這是在當前情況下唯一正確的選擇」,項目聲明中表示

直到11月25日,未成年人與機器人的互動時間將受到限制。最初,限制爲每天兩個小時,隨後將逐步減少到完全關閉聊天。

Character.AI將爲青少年提供其他創作形式:制作視頻、撰寫故事和通過使用AI角色進行直播。

爲了驗證用戶年齡,該平台將實施一個綜合系統,該系統將結合Character.AI的自有開發和像Persona這樣的第三方供應商的解決方案。

與此同時,平台將創建並資助一個非營利的AI安全實驗室。該項目將致力於爲人工智能的娛樂功能制定新的安全標準。

調查

對Character.AI提起了幾起訴訟。其中一起是來自一名14歲少年母親的訴訟,因其在2024年因迷戀《權力的遊戲》中的角色機器人而自殺。

在收到一系列投訴後,該平台已經實施了家長控制、使用時間通知,並且過濾了角色的回答。

在八月,OpenAI分享了在處理“敏感情況”時改進ChatGPT的計劃。那時,原因也是因爲一個家庭提起的訴訟,他們指責聊天機器人對他們兒子發生的悲劇負有責任。

Meta也採取了類似的措施。該公司改變了基於人工智能的聊天機器人培訓方法,強調青少年的安全性。

隨後,OpenAI 宣布計劃將私人對話轉向推理模型,並引入家長控制。九月,公司推出了針對青少年的聊天機器人版本。

批評

10月27日,OpenAI發布的數據表明,大約120萬的800萬每週活躍用戶在與ChatGPT討論有關自殺的問題。

還有560,000用戶表現出精神病或狂躁的跡象,1.2百萬用戶對機器人表現出增強的情感依戀

«我們最近更新了ChatGPT模型,以便更好地識別用戶在壓力時刻並提供支持。除了標準的安全指標,我們還在基礎測試套件中加入了情感依賴和非自殺危機的評估——這將成爲所有未來模型的標準», — 公司代表指出

然而,許多人認爲上述措施可能不夠。前OpenAI安全研究員斯蒂芬·阿德勒警告說,開發人工智能的競爭存在危險。

根據他所說,支持 ChatGPT 的公司實際上幾乎沒有證據表明對脆弱用戶的保護有真正的改善。

令人興奮的是,OpenAI昨天發布了一些心理健康方面的信息,而之前他們提供的改善證據幾乎爲零。 我很高興他們這樣做了,盡管我仍然有一些擔憂。

— 史蒂文·阿德勒 (@sjgadler) 2025 年 10 月 28 日

«人們值得比僅僅關於解決安全問題的言辭更多。換句話說:證明你們確實做了一些事情》,他指出

阿德勒贊揚了OpenAI提供的有關用戶心理健康的一些信息,但呼籲“進一步深入”

在十月初,前初創公司的員工對發生在加拿大人阿倫·布魯克斯身上的事件進行了分析。這名男子在ChatGPT系統性地支持他對革命性數學原理的發現的信念後,陷入了瘋狂的狀態。

阿德勒發現,OpenAI與麻省理工學院共同開發的工具會將超過80%的聊天回復識別爲潛在危險。在他看來,這家初創公司實際上並沒有在實踐中使用保護機制。

ChatGPT的回答多頻繁地激活了荒謬狀態的分類器。來源:斯蒂芬·阿德勒的研究

«我希望OpenAI能更加努力地在媒體壓力或訴訟出現之前做出正確的決策», — 一位專家寫道.

提醒大家,在十月份的研究中發現了由於社交媒體導致人工智能退化的跡象。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 轉發
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)