El gobernador de California, Gavin Newsom, firmó el lunes un proyecto de ley histórico que regula los chatbots complementarios de IA, lo que convierte al estado en el primer estado del país en exigir a los operadores de chatbots de IA que implementen protocolos de seguridad para sus compañeros de IA.
Esta ley, SB 243, tiene como objetivo proteger a los niños y a los usuarios vulnerables de los daños asociados con el uso de chatbots complementarios de IA. La ley responsabilizaría legalmente a las empresas, desde grandes laboratorios como Meta y OpenAI hasta empresas emergentes más enfocadas como Character AI y Replika, si sus chatbots no cumplen con los estándares de la ley.
La SB 243 fue presentada en enero por los senadores estatales Steve Padilla y Josh Becker y ganó impulso tras la muerte del adolescente Adam Lane, quien se suicidó después de una larga serie de conversaciones suicidas con ChatGPT de OpenAI. El proyecto de ley también responde a documentos internos filtrados que supuestamente mostraban que a los chatbots de Meta se les permitía tener charlas «románticas» y «sensuales» con niños. Más recientemente, una familia de Colorado presentó una demanda contra la startup de juegos de rol Character AI después de que su hija de 13 años se quitara la vida después de tener una serie de conversaciones sexuales cuestionables con el chatbot de la compañía.
«Las tecnologías emergentes como los chatbots y las redes sociales pueden inspirar, educar y conectar, pero sin barreras de seguridad reales, también pueden ser mal utilizadas, engañar y poner a los niños en riesgo», dijo Newsom en un comunicado. «Hemos visto algunos ejemplos verdaderamente horribles y trágicos de jóvenes perjudicados por tecnología no regulada. No podemos quedarnos impasibles y observar cómo las empresas continúan operando sin los límites y la responsabilidad necesarios. Podemos seguir liderando con la IA y la tecnología, pero debemos hacerlo de manera responsable. Protegeremos a los niños en cada paso del camino. La seguridad de los niños no está a la venta».
La SB 243 entrará en vigor el 1 de enero de 2026 y exige que las empresas implementen ciertas funciones, como verificación de edad y advertencias sobre las redes sociales y chatbots complementarios. La ley también establece sanciones más severas para quienes se beneficien de deepfakes ilegales, incluidas multas de hasta 250.000 dólares por cada infracción. Las empresas también tendrán que establecer protocolos para abordar el suicidio y las autolesiones, que se compartirán con los departamentos de salud pública estatales junto con estadísticas sobre cómo los servicios brindan a los usuarios notificaciones de prevención de los centros de crisis.
Según el texto del proyecto de ley, las plataformas también deben dejar claro que cualquier interacción se genera artificialmente y los chatbots no deben pretender ser profesionales médicos. Las empresas deben recordar a los menores que tomen descansos y evitar que vean imágenes sexualmente explícitas generadas por chatbots.
Algunas empresas ya han comenzado a implementar algunas medidas de seguridad dirigidas a los niños. Por ejemplo, OpenAI recientemente comenzó a implementar un sistema de control parental, protección de contenido y detección de autolesiones para niños que usan ChatGPT. Character AI dijo que su chatbot incluye un descargo de responsabilidad de que todos los chats son generados por AI y son ficticios.
evento de crisis tecnológica
san francisco
|
27-29 de octubre de 2025
El senador Padilla dijo a TechCrunch que el proyecto de ley es un «paso en la dirección correcta» para poner barreras a «tecnología increíblemente poderosa».
«Tenemos que actuar rápidamente para aprovechar la oportunidad antes de que desaparezca», dijo Padilla. «Quiero que otros estados sean conscientes de los riesgos. Creo que muchos estados lo son. Creo que esto se está discutiendo en todo el país, pero espero que la gente tome medidas. Ciertamente no el gobierno federal, pero creo que tenemos la obligación de proteger a los más vulnerables aquí».
La SB 243 es la segunda regulación importante sobre IA promulgada en California en las últimas semanas. El 29 de septiembre, el gobernador Newsom firmó la SB 53, que crea nuevos requisitos de transparencia para las grandes empresas de inteligencia artificial. El proyecto de ley requeriría que los grandes laboratorios de inteligencia artificial, como OpenAI, Anthropic, Meta y Google DeepMind, fueran transparentes sobre sus protocolos de seguridad. También garantiza la protección de los denunciantes de irregularidades para los empleados de estas empresas.
Otros estados, como Illinois, Nevada y Utah, han aprobado leyes que restringen o prohíben por completo el uso de chatbots con IA como sustituto de la atención de salud mental autorizada.
TechCrunch se ha puesto en contacto con Character AI, Meta, OpenAI y Replika para solicitar comentarios.
Este artículo ha sido actualizado con comentarios del Senador Padilla.
Source link
