Tras una serie de inquietantes incidentes de salud mental relacionados con chatbots de IA, un grupo de fiscales generales estatales escribió a las principales empresas de la industria de la IA, advirtiéndoles que corren el riesgo de violar la ley estatal si no solucionan su «resultado delirante».
La carta, firmada por docenas de auditores de estados y territorios de EE. UU. con la Asociación Nacional de Fiscales Generales, pide a las empresas, incluidas Microsoft, OpenAI, Google y otras 10 grandes empresas de IA, que implementen una variedad de nuevas salvaguardas internas para proteger a los usuarios. La carta también incluía a Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika y xAI.
La carta llega cuando estalla una batalla entre los gobiernos estatal y federal sobre la regulación de la IA.
Estas salvaguardas incluyen auditorías transparentes de terceros de extensos modelos de lenguaje que buscan signos de delirios o pensamientos halagadores, y nuevos procedimientos de notificación de incidentes diseñados para notificar a los usuarios cuando los chatbots producen resultados psicológicamente dañinos. A estos terceros, incluidos grupos académicos y de la sociedad civil, se les debería permitir «evaluar el sistema antes de publicarlo sin represalias y publicar sus hallazgos sin la aprobación previa de la empresa», dice la carta.
«La GenAI tiene el potencial de cambiar la forma en que funciona el mundo de manera positiva. Pero también causa, y puede causar, daños graves, especialmente a las poblaciones vulnerables», decía la carta, señalando una serie de incidentes bien conocidos ocurridos el año pasado en los que la violencia se ha relacionado con el uso excesivo de la IA, incluidos suicidios y asesinatos. «En muchos de estos incidentes, los productos GenAI produjeron resultados aduladores o delirantes que alentaron los delirios del usuario o le aseguraron que no se estaban engañando».
El AG también sugiere que las empresas traten los incidentes de salud mental de la misma manera que las empresas de tecnología tratan los incidentes de ciberseguridad, con políticas y procedimientos de notificación de incidentes claros y transparentes.
Las empresas deberían desarrollar y publicar «un cronograma para detectar y responder a resultados aduladores o delirantes», decía la carta. De manera similar a cómo responden actualmente a las filtraciones de datos, las empresas deberían «notificar de manera rápida, clara y directa a los usuarios si han estado expuestos a halagos o comentarios delirantes potencialmente dañinos», dice la carta.
evento de crisis tecnológica
san francisco
|
13-15 de octubre de 2026
Otra cuestión es que las empresas desarrollen «pruebas de seguridad razonables y apropiadas» para los modelos GenAI para «garantizar que los modelos no produzcan halagos o resultados delirantes potencialmente dañinos». Estas pruebas deberían realizarse antes de que el modelo esté disponible al público, añadió.
TechCrunch no pudo comunicarse con Google, Microsoft y OpenAI para hacer comentarios antes de la publicación. Este artículo se actualizará si recibimos una respuesta de la empresa.
Las empresas tecnológicas que desarrollan IA son mucho mejor recibidas a nivel federal.
La administración Trump ha sido descaradamente pro-IA, con múltiples intentos durante el año pasado de aprobar una moratoria a nivel nacional sobre las regulaciones estatales de IA. Hasta ahora, estos esfuerzos han fracasado, en parte debido a la presión de las autoridades estatales.
Sin inmutarse, el presidente Trump anunció el lunes que planea aprobar una orden ejecutiva la próxima semana que limitaría la capacidad de los estados para regular la IA. En una publicación en Truth Social, el presidente dijo que quiere que el CEO impida que la IA sea «destruida en su infancia».
Source link
