Character.AI prohibirá a los adolescentes comunicarse con personajes de IA.

# Character.AI prohibirá a los adolescentes comunicarse con personajes de IA

La causa fue una serie de demandas judiciales e incidentes trágicos.

La plataforma para comunicarse con personajes de IA Character.AI limitará el acceso a usuarios menores de 18 años. La razón fue una serie de demandas.

«No nos fue fácil tomar la decisión de desactivar la función de comunicación libre, pero creemos que es la única correcta en la situación actual», se dice en la declaración del proyecto

Hasta el 25 de noviembre, el tiempo de interacción con los bots para menores estará limitado. Primero, el límite será de dos horas al día y luego se reducirá gradualmente hasta la desconexión total del chat.

Character.AI ofrecerá a los adolescentes otros formatos de creatividad: creación de videos, escritura de historias y realización de transmisiones en vivo utilizando personajes de IA.

Para verificar la edad de los usuarios, la plataforma implementará un sistema integral que combinará desarrollos propios de Character.AI y soluciones de proveedores externos como Persona.

Paralelamente, la plataforma creará y financia un AI Safety Lab sin fines de lucro. El proyecto se encargará de establecer nuevos estándares de seguridad para las funciones de entretenimiento de la inteligencia artificial.

Investigaciones

Se han presentado varias demandas contra Character.AI. Una de ellas es de la madre de un adolescente de 14 años que se suicidó en 2024 debido a su obsesión con un bot personaje de la serie “Juego de Tronos”.

Después de una serie de quejas, la plataforma ya ha implementado el control parental, notificaciones sobre el tiempo de uso, y también ha filtrado las respuestas de los personajes.

En agosto, OpenAI compartió planes para abordar las deficiencias de ChatGPT al tratar con “situaciones sensibles”. En ese momento, el motivo también fue una demanda de una familia que acusó al chatbot de la tragedia ocurrida con su hijo.

Meta tomó medidas similares. La corporación cambió su enfoque sobre la formación de chatbots basados en IA, poniendo énfasis en la seguridad de los adolescentes.

Más tarde, OpenAI declaró que tiene la intención de redirigir las conversaciones confidenciales hacia modelos de razonamiento e introducir control parental. En septiembre, la empresa lanzó una versión del chatbot para adolescentes.

Crítica

El 27 de octubre, OpenAI publicó datos según los cuales aproximadamente 1,2 millones de los 800 millones de usuarios activos semanalmente discuten con ChatGPT cuestiones de carácter suicida.

Otros 560,000 usuarios muestran signos de psicosis o manía, mientras que 1.2 millones demuestran un apego emocional elevado al bot.

«Recientemente actualizamos el modelo ChatGPT para que reconozca mejor a los usuarios en momentos de estrés y les brinde apoyo. Además de las métricas de seguridad estándar, hemos incluido en el conjunto de pruebas básico la evaluación de la dependencia emocional y las crisis no suicidas; esto se convertirá en un estándar para todos los modelos futuros», — señalaron representantes de la empresa

Sin embargo, muchos consideran que las medidas mencionadas pueden ser insuficientes. El ex investigador de seguridad de OpenAI, Steven Adler, advirtió sobre el peligro de la carrera en el desarrollo de la IA.

Según él, la empresa detrás de ChatGPT en realidad tiene casi no hay pruebas de una mejora real en la protección de los usuarios vulnerables.

Emocionantemente, OpenAI ayer publicó algunos datos sobre la salud mental, en comparación con la ~0 evidencia de mejora que habían proporcionado anteriormente. Estoy emocionado de que hayan hecho esto, aunque todavía tengo preocupaciones.

— Steven Adler (@sjgadler) 28 de octubre de 2025

«La gente merece más que solo palabras sobre la solución de problemas de seguridad. En otras palabras: demuestren que realmente han hecho algo», señaló.

Adler elogió a OpenAI por proporcionar cierta información sobre la salud mental de los usuarios, pero instó a “ir más allá”.

A principios de octubre, un ex-empleado de la startup realizó un análisis del incidente que ocurrió con el canadiense Allan Brooks. El hombre entró en un estado delirante después de que ChatGPT apoyara sistemáticamente su creencia en el descubrimiento de principios matemáticos revolucionarios.

Adler aclaró que las propias herramientas de OpenAI, desarrolladas en conjunto con el MIT, identificarían más del 80% de las respuestas del chat como potencialmente peligrosas. En su opinión, la startup en realidad no utilizó mecanismos de protección en la práctica.

¿Con qué frecuencia las respuestas de ChatGPT activaron clasificadores de estados delirantes? Fuente: estudio de Steven Adler.

«Quiero que OpenAI haga más esfuerzos para hacer lo correcto antes de que surjan presiones de los medios o demandas judiciales», escribió el experto.

Recordemos que en octubre, una investigación reveló signos de degradación de la inteligencia artificial debido a las redes sociales.