Durante más de dos años, una aplicación llamada ClothOff ha estado aterrorizando a mujeres jóvenes en línea y ha sido extremadamente difícil detenerlo. La aplicación se eliminó de dos tiendas de aplicaciones importantes y se prohibió en la mayoría de las plataformas sociales, pero todavía está disponible en la web y a través de los bots de Telegram. En octubre, la clínica de la Facultad de Derecho de Yale presentó una demanda exigiendo que la aplicación se eliminara permanentemente, que sus propietarios eliminaran todas las imágenes y que cesaran por completo las operaciones. Pero encontrar al acusado fue difícil.
«Esta organización está constituida en las Islas Vírgenes Británicas», explica el profesor John Langford, abogado codirector del caso, «pero creemos que está dirigida por los Hermanos y las Hermanas y por Bielorrusia. Incluso puede ser parte de una red más grande en todo el mundo».
Esta es una amarga lección después de la reciente avalancha de pornografía no consentida generada por xAI de Elon Musk y que involucra a muchas víctimas menores de edad. El contenido de abuso sexual infantil es uno de los contenidos legalmente más dañinos en Internet, su creación, transmisión y almacenamiento son ilegales y los principales servicios en la nube lo analizan periódicamente. Pero a pesar de las estrictas prohibiciones legales, todavía hay pocas maneras de manejar herramientas de generación de imágenes como ClothOff, como muestra el caso de Langford. Si bien los usuarios individuales pueden ser procesados, plataformas como ClothOff y Grok son mucho más difíciles de controlar, lo que deja a las víctimas que quieren encontrar justicia en los tribunales con pocas opciones.
La denuncia de la clínica, disponible en línea, pinta un panorama alarmante. La demandante es una estudiante anónima de secundaria en Nueva Jersey cuyos compañeros de clase usaron ClothOff para alterar sus fotos de Instagram. Tenía 14 años cuando se tomó la foto original de Instagram. Esto significa que la versión mejorada con IA se clasificaría legalmente como una imagen de abuso infantil. Sin embargo, a pesar de que las imágenes alteradas eran claramente ilegales, las autoridades locales se negaron a procesar el caso, alegando dificultades para obtener pruebas del dispositivo del sospechoso.
«Ni la escuela ni las agencias policiales han revelado cuán ampliamente se distribuyó el CSAM de Jane Doe y las otras niñas», afirma la denuncia.
Aún así, el juicio avanza lentamente. La denuncia se presentó en octubre y, en los meses transcurridos desde entonces, Langford y sus colegas han estado trabajando para notificar a los demandados, una tarea difícil dada la naturaleza global de las empresas. Una vez notificada, la clínica puede solicitar una comparecencia ante el tribunal y, en última instancia, un veredicto, pero mientras tanto, el sistema legal ofrece poco consuelo a las víctimas de ClothOff.
El caso de Grok puede parecer un problema más fácil de resolver. La xAI de Elon Musk no está oculta y los abogados que puedan ganar el caso finalmente tendrán suficiente dinero. Sin embargo, Grok es una herramienta de uso general, lo que hace que sea muy difícil responsabilizarlo ante los tribunales.
evento de crisis tecnológica
san francisco
|
13-15 de octubre de 2026
«ClothOff está diseñado y comercializado específicamente como un generador de imágenes y videos porno deepfake», me dijo Langford. “El litigio se vuelve aún más complejo cuando se litiga en un sistema general que permite a los usuarios realizar todo tipo de consultas”.
Muchas leyes en los Estados Unidos ya prohíben la pornografía deepfake, la más notable es la Ley Take It Down. Pero si bien está claro que usuarios específicos están violando estas leyes, es mucho más difícil responsabilizar a la plataforma en su conjunto. La ley actual exige pruebas claras de la intención de dañar, lo que significa que xAI debe proporcionar pruebas de que sabía que sus herramientas se utilizarían para producir pornografía no consensuada. A falta de esa evidencia, los derechos fundamentales de la Primera Enmienda de xAI proporcionarían una protección legal importante.
«Cuando se trata de la Primera Enmienda, está claro que el material de abuso sexual infantil no es un discurso protegido», dijo Langford. «Entonces, si estás diseñando un sistema que crea ese tipo de contenido, está claro que estás operando fuera de las protecciones de la Primera Enmienda. Pero para un sistema general donde los usuarios pueden ejecutar todo tipo de consultas, está menos claro».
La forma más sencilla de superar estos problemas es demostrar que xAI ignoró intencionalmente el problema. Ese bien podría ser el caso, dados los informes recientes de que Musk les dijo a los empleados que aflojaran el equipo de seguridad de Grok. Pero incluso si así fuera, sería mucho más arriesgado asumirlo.
«La gente razonable puede decirle que sabemos que esto era un problema desde hace años», dijo Langford. «¿No podrían haberse implementado controles más estrictos para evitar que algo como esto sucediera? Eso es un poco imprudente o informado, pero es simplemente un caso más complicado».
Estas cuestiones de la Primera Enmienda son la razón por la que la mayor reacción de xAI proviene de un sistema judicial que carece de fuertes protecciones legales para la libertad de expresión. Indonesia y Malasia han tomado medidas para bloquear el acceso al chatbot Grok y los reguladores del Reino Unido han iniciado una investigación que podría conducir a una prohibición similar. La Comisión Europea, Francia, Irlanda, India y Brasil también han dado otros pasos preliminares. Por el contrario, los reguladores estadounidenses no han emitido una respuesta oficial.
Es imposible decir cómo se resolverá la investigación, pero al menos, la gran cantidad de imágenes plantea muchas preguntas que los reguladores deben investigar, y las respuestas podrían ser condenatorias.
«Si publicas, distribuyes o difundes material relacionado con el abuso sexual infantil, estás violando prohibiciones penales y podrías ser considerado responsable», dijo Langford. «La pregunta difícil es: ¿Qué sabía X? ¿Qué hizo X y qué no hizo? ¿Qué están haciendo al respecto ahora?»
Source link
