El problema de los deepfakes sexuales no consensuales de la industria tecnológica ahora es más grande que una simple X.
En una carta a los líderes de X, Meta, Alphabet, Snap, Reddit y TikTok, varios senadores estadounidenses piden a las empresas que proporcionen pruebas de que cuentan con «protecciones y políticas sólidas» y expliquen cómo pretenden frenar el aumento de los deepfakes sexuales en sus plataformas.
Los senadores también exigieron a las empresas que preserven toda la documentación e información relacionada con la creación, detección, gestión y monetización de imágenes sexuales generadas por IA, así como las políticas relacionadas.
La carta llega horas después de que X anunciara actualizaciones de Grok que prohibirían la edición de personas reales con ropa reveladora y restringirían a los suscriptores pagos la creación y edición de imágenes a través de Grok. (X y xAI son parte de la misma empresa).
Los senadores señalaron los informes de los medios sobre la facilidad y frecuencia con la que Grok generaba imágenes sexuales y desnudas de mujeres y niños, y señalaron que las barreras de seguridad de la plataforma para evitar que los usuarios publiquen imágenes sexuales no consensuadas pueden no ser suficientes.
«Reconocemos que muchas empresas mantienen políticas contra las imágenes íntimas no consentidas y la explotación sexual, y que muchos sistemas de inteligencia artificial afirman bloquear la pornografía explícita. Sin embargo, en realidad, como se ve en los ejemplos anteriores, los usuarios encuentran formas de eludir estas barreras. O fracasan», se lee en la carta.
Grok, y por extensión X, han sido duramente criticados por permitir esta tendencia, pero otras plataformas no son una excepción.
evento de crisis tecnológica
san francisco
|
13-15 de octubre de 2026
Los deepfakes se hicieron populares por primera vez cuando una página que mostraba videos porno sintéticos de celebridades se volvió viral en Reddit, que luego fue eliminada por la plataforma en 2018. Los deepfakes sexuales dirigidos a celebridades y políticos están proliferando en TikTok y YouTube, pero generalmente se originan en otros lugares.
El año pasado, la junta de supervisión de Meta presentó dos demandas por imágenes explícitas de inteligencia artificial de figuras públicas femeninas, y la plataforma deshabilitó aplicaciones que venden anuncios en su servicio, pero luego demandó a una compañía llamada CrushAI. Ha habido informes de niños que difunden deepfakes de sus compañeros en Snapchat. Telegram, que no está incluido en la lista del senador, también es conocido por albergar robots destinados a tomar fotografías de mujeres desnudas.
En respuesta a la carta, X señaló anuncios sobre actualizaciones de Grok.
«No permitimos ni permitiremos ningún medio íntimo no consensuado (NCIM) en Reddit, no proporcionamos las herramientas para crearlo y tomamos medidas agresivas para encontrarlo y eliminarlo», dijo un portavoz de Reddit en un comunicado enviado por correo electrónico. «Reddit prohíbe estrictamente NCIM, que incluye representaciones fabricadas o generadas por IA. También prohibimos solicitar este contenido a otros, compartir enlaces a aplicaciones ‘desnudas’ o discutir cómo crear este contenido en otras plataformas», añadió el portavoz.
Alphabet, Snap, TikTok y Meta no respondieron a las solicitudes de comentarios.
La carta solicita a las empresas que proporcionen la siguiente información:
Definiciones de políticas para contenido «deepfake», «imágenes íntimas no consentidas» o términos similares. Una explicación de la política de la empresa y el enfoque de aplicación de la ley ante las falsificaciones profundas no consensuadas de IA de cuerpos de personas, fotografías sin desnudos, ropa alterada y «desnudo virtual». Una descripción de nuestras políticas de contenido actuales que abordan los medios editados y el contenido explícito, así como la orientación interna proporcionada a los moderadores. Cómo las políticas actuales gobiernan las herramientas de inteligencia artificial y los generadores de imágenes relacionadas con contenido sugerente e íntimo. Qué filtros, barreras de seguridad o contramedidas existen para evitar la generación y distribución de deepfakes. ¿Qué mecanismos utilizan las empresas para identificar contenido deepfake y evitar que se vuelva a cargar? Cómo evitar que los usuarios se beneficien de dicho contenido. Cómo las plataformas previenen la monetización no consensuada del contenido generado por IA. ¿Cómo pueden los términos de servicio de una empresa prohibir o suspender a los usuarios que publican deepfakes? Qué están haciendo las empresas para notificar a las víctimas de deepfakes sexuales no consensuales.
La carta está firmada por la senadora Lisa Blunt Rochester (demócrata por Delaware), la senadora Tammy Baldwin (demócrata por Wisconsin), el senador Richard Blumenthal (demócrata por Connecticut), la senadora Kirsten Gillibrand (demócrata por Nueva York), el senador Mark Kelly (demócrata por Arizona), el senador Ben Ray Lujan (demócrata por Nuevo México), el senador Brian Schatz (demócrata por California) y el senador Adam Schiff (demócrata por California).
La medida se produce apenas un día después de que el propietario de xAI, Elon Musk, dijera que «no tenía conocimiento de ninguna imagen de menores desnudos producida por Grok». Tras la creciente presión de los gobiernos de todo el mundo indignados de que la falta de barreras de seguridad alrededor de Grok permitiera que esto sucediera, el fiscal general de California inició una investigación sobre el chatbot de xAI el miércoles por la noche.
xAI afirma que está tomando medidas para eliminar «contenido ilegal en X, incluido (CSAM) y desnudez no consensuada», pero ni la compañía ni Musk abordan el hecho de que a Grok se le permitió producir dicho contenido en primer lugar.
Este problema no se limita a imágenes manipuladas sexualmente sin consentimiento. Si bien no todos los servicios de generación y edición de imágenes basados en IA permiten a los usuarios «desvestir» a una persona, pueden generar deepfakes fácilmente. Por nombrar algunos ejemplos, Sora 2 de OpenAI permite a los usuarios generar vídeos explícitos con niños. Nano Banana de Google parece haber generado una imagen de Charlie Kirk recibiendo un disparo. Los videos racistas creados con el modelo de video AI de Google han obtenido millones de visitas en las redes sociales.
El problema se vuelve aún más complejo cuando se trata de equipos chinos de producción de imágenes y vídeos. Muchas empresas y aplicaciones de tecnología chinas, particularmente aquellas asociadas con ByteDance, ofrecen formas sencillas de editar rostros, audio y video, y sus artefactos se están extendiendo por las plataformas sociales occidentales. China tiene requisitos de etiquetado de contenido sintético más estrictos a nivel federal que Estados Unidos no tiene, y el público, en cambio, depende de políticas de aplicación poco sistemáticas y cuestionables de las propias plataformas.
Los legisladores estadounidenses ya aprobaron varios proyectos de ley que buscan regular la pornografía deepfake, pero su impacto ha sido limitado. La Ley Take It Down, promulgada como ley federal en mayo, tiene como objetivo criminalizar la creación y distribución de imágenes sexuales sin consentimiento. Sin embargo, muchas disposiciones de la ley dificultan responsabilizar a las plataformas de generación de imágenes, ya que la mayor parte de su supervisión se centra en los usuarios individuales.
Mientras tanto, muchos estados están tomando cartas en el asunto para proteger a los consumidores y las elecciones. La gobernadora de Nueva York, Cathy Hochul, propuso esta semana una legislación que requeriría que el contenido generado por IA sea etiquetado como tal y prohibiría los deepfakes no consensuales que incluyan representaciones de candidatos de la oposición durante períodos específicos previos a las elecciones.
Source link
