Los adolescentes están tratando de descubrir dónde encajan en un mundo que está cambiando más rápidamente que cualquier generación anterior. Tienen arrebatos emocionales, están sobreestimulados y están crónicamente en línea. Y ahora, una empresa de inteligencia artificial les ha proporcionado un chatbot diseñado para mantener la conversación. Los resultados fueron devastadores.
Una empresa que comprende este impacto es Character.AI. La compañía es una startup de juegos de rol de IA que enfrenta demandas y reacciones públicas después de que al menos dos adolescentes murieran por suicidio después de tener largas conversaciones con chatbots de IA en su plataforma. Character.AI actualmente está realizando cambios en su plataforma para proteger a adolescentes y niños, lo que podría afectar los resultados de la startup.
«Lo primero que decidimos hacer como Character.AI fue eliminar la posibilidad de que los usuarios menores de 18 años participen en chats ilimitados con IA en nuestra plataforma», dijo a TechCrunch el director ejecutivo de Character.AI, Karandeep Anand.
Una conversación abierta se refiere a una interacción abierta que ocurre cuando un usuario le da un mensaje a un chatbot y el chatbot responde con una pregunta de seguimiento, que según los expertos está diseñada para mantener a los usuarios interesados. Anand sostiene que este tipo de interacción, en la que la IA actúa como compañero de conversación y amigo en lugar de una herramienta creativa, no sólo es peligrosa para los niños, sino que también es incompatible con la visión de la empresa.
La startup está intentando pasar de ser un “compañero de IA” a una “plataforma de juego de roles”. En lugar de charlar con un amigo AI, los adolescentes utilizarán indicaciones para construir historias de forma colaborativa y generar imágenes. En otras palabras, el objetivo es llevar el compromiso de la conversación a la creación.
Character.AI eliminará gradualmente el acceso al chatbot para adolescentes antes del 25 de noviembre, comenzando con un límite de dos horas por día y reduciéndolo gradualmente hasta llegar a cero. Para garantizar que esta prohibición se aplique a los usuarios menores de 18 años, la plataforma implementa herramientas internas de verificación de edad que analizan el comportamiento del usuario, así como herramientas de terceros como Persona. Si esas herramientas fallan, Character.AI utiliza reconocimiento facial y controles de identificación para verificar la edad, dijo Anand.
La medida sigue a otras protecciones para adolescentes que Character.AI ha implementado, incluida la introducción de herramientas de información para padres, personajes filtrados, conversaciones románticas limitadas y notificaciones de tiempo invertido. Anand le dijo a TechCrunch que la compañía ha perdido gran parte de su base de usuarios menores de 18 años debido a estos cambios, y espera que estos nuevos cambios sean igualmente impopulares.
evento de crisis tecnológica
san francisco
|
27-29 de octubre de 2025
«No hay duda de que muchos usuarios adolescentes probablemente se sentirán decepcionados, por lo que esperamos ver más abandono en el futuro», afirmó Anand. «Es difícil especular, pero ¿se irán todos por completo o algunos de nuestros usuarios migrarán a la nueva experiencia que hemos estado construyendo durante los últimos siete meses?»
Character.AI lanzó recientemente varias funciones nuevas centradas en el entretenimiento como parte de sus esfuerzos por transformar su plataforma de una aplicación centrada en el chat a una «plataforma social completa basada en contenido».
En junio, Character.AI lanzó AvatarFX, un modelo de generación de videos que convierte imágenes en videos animados. Escenas, historias interactivas preestablecidas que permiten a los usuarios adentrarse en la historia con sus personajes favoritos. Las transmisiones son una característica que permite la interacción dinámica entre dos personajes cualesquiera. En agosto, Character.AI lanzó Community Feed, un feed social que permite a los usuarios compartir personajes, escenas, vídeos y otro contenido que crean en la plataforma.
Character.AI se disculpó por los cambios en un comunicado dirigido a usuarios menores de 18 años.
«Sabemos que la mayoría de ustedes está utilizando Character.AI para mejorar su creatividad dentro de nuestras reglas de contenido», se lee en el comunicado. «No estamos dando este paso para eliminar el chat de personajes abiertos a la ligera, pero creemos que es la acción correcta dadas las preguntas que surgen sobre cómo los adolescentes pueden y deben interactuar con esta nueva tecnología».
«No tenemos intención de cerrar aplicaciones para menores de 18 años», dijo Anand. «La razón por la que solo estamos cerrando el chat abierto para menores de 18 años es porque queremos que los menores de 18 años migren a estas otras experiencias y vean cómo esas experiencias mejoran con el tiempo. Así que nos estamos enfocando en juegos de IA, videos cortos de IA, narraciones de IA en general. Esa es la gran apuesta que estamos haciendo para recuperar a los menores de 18 años si se van».
Anand reconoció que algunos adolescentes pueden recurrir a otras plataformas de inteligencia artificial, como OpenAI, que les permite tener conversaciones gratuitas con chatbots. OpenAI también fue criticado recientemente después de que un adolescente se suicidara después de tener una larga conversación con ChatGPT.
«Realmente espero que tomemos la iniciativa y establezcamos un estándar en la industria que indique que el chat abierto probablemente no sea una vía o un producto para menores de 18 años», dijo Anand. «Creo que esta compensación es la elección correcta para nosotros. Tengo una niña de seis años y quiero asegurarme de que crezca en un ambiente muy seguro con IA de manera responsable».
Character.AI toma estas decisiones antes de que los reguladores los obliguen a hacerlo. El martes, el senador Josh Hawley (R-MO) y el senador Richard Blumenthal (D-CT) anunciaron que presentarían una legislación para prohibir el uso de compañeros de chatbot de IA por parte de menores, luego de quejas de padres de que los productos de compañero de chatbot de IA han llevado a sus hijos a participar en conversaciones sexuales, autolesiones y suicidio. A principios de este mes, California se convirtió en el primer estado en regular los chatbots complementarios de IA al responsabilizar a las empresas si sus chatbots no cumplen con los estándares de seguridad de la ley.
Además de estos cambios en la plataforma, Character.AI también anunció la creación y financiación del AI Safety Lab, una organización independiente sin fines de lucro dedicada a innovar ajustes de seguridad para futuras funciones de entretenimiento de IA.
«Se está trabajando mucho en la industria en torno a la codificación y el desarrollo y otros casos de uso», afirma Anand. «No creo que se haya trabajado lo suficiente todavía en lo que respecta a la IA de los agentes para mejorar el entretenimiento, y la seguridad es fundamental para ello».
Source link
