Openai dijo el martes que interrumpió tres grupos de actividad por el mal uso de las herramientas de inteligencia artificial (IA) ChatGPT para facilitar el desarrollo de malware.
Esto incluye a los actores de amenazas rusos. Se dice que el actor de amenazas ruso utilizó chatbots para ayudar a desarrollar y perfeccionar el caballo de Troya (Rat), un ladrón de credenciales destinado a evadir la detección. Los operadores también utilizaron varias cuentas ChatGPT para crear prototipos y solucionar problemas de componentes técnicos que permitieron el robo de credenciales y después de la explosión.
«Estas cuentas parecen estar afiliadas a grupos criminales de habla rusa, ya que los observamos publicando evidencia de sus actividades en canales de Telegram dedicados a esos actores», dijo Openai.
La compañía de inteligencia artificial dijo que su modelo de lenguaje a gran escala (LLMS) rechazó las solicitudes directas de los actores de amenazas para crear contenido malicioso, pero eludió las restricciones creando un código de bloques de construcción, que luego se ensambló para crear flujos de trabajo.
Algunos de los resultados generados incluyeron código para ofuscación, monitoreo del portapapeles y utilidades básicas para eliminar datos usando el bot de Telegram. Vale la pena señalar que ninguno de estos resultados es de naturaleza maliciosa.
«Los actores de amenazas crearon una combinación de solicitudes de alta y baja sofisticación. Muchas solicitudes requirieron un conocimiento profundo de la plataforma Windows y una depuración iterativa, mientras que otras automatizaron tareas básicas (como la generación masiva de contraseñas o solicitudes de trabajo con script)», agregó Openai.
«El operador utilizó una pequeña cantidad de cuentas ChatGPT y repitió el mismo código durante toda la conversación, un patrón consistente con un desarrollo continuo en lugar de pruebas ocasionales».
El segundo grupo de actividad se originó en Corea del Norte y compartió superposición con la campaña detallada por Trellix en agosto de 2025, dirigida a la entrega de Xeno Rats mediante correos electrónicos con lanzas en Corea del Sur.
Openai dijo que el clúster utiliza ChatGPT para el desarrollo de malware y comando y control (C2), y que los actores participan en esfuerzos específicos como el desarrollo de extensiones de MacOS Finder, la configuración de VPN de Windows Server y la conversión de extensiones de Chrome a equivalentes de Safari.
Además, se sabe que los actores de amenazas utilizan chatbots de IA para redactar correos electrónicos de phishing, experimentar con servicios en la nube y funciones de GitHub, y explorar técnicas que facilitan la carga de DLL, la ejecución de memoria, los enlaces API de Windows y el robo de credenciales.
Openai dijo que el tercer conjunto de cuentas prohibidas se comparte con un grupo rastreado por Proofpoint con el nombre UNK_DROPPITCH (también conocido como UTA0388).
La cuenta utilizó una herramienta para generar contenido para la campaña de phishing en inglés, chino y japonés. Herramientas de ayuda para acelerar las tareas cotidianas, como la ejecución remota y la protección del tráfico mediante HTTPS. Encuentre información relacionada con la instalación de herramientas de código abierto como Nuclei y FSCAN. Openai describió al actor de amenazas como «técnicamente competente pero poco sofisticado».
Además de estas tres actividades cibernéticas maliciosas, la empresa también bloqueó cuentas utilizadas para operaciones de fraude e influencia.
Las redes originarias de Camboya, Myanmar y Nigeria están abusando de ChatGpt en un intento de estafar a las personas en línea. Estas redes utilizaron inteligencia artificial para realizar traducciones, escribir mensajes y crear contenido de redes sociales para promover estafas de inversión. Parece estar utilizando ChatGPT para vincularse con agencias gubernamentales chinas. Ayuda a monitorear a las personas, incluidos los grupos minoritarios como los uigures, y analiza datos de plataformas de redes sociales occidentales o chinas. Los usuarios pidieron herramientas para generar materiales promocionales sobre dichas herramientas, pero no las implementaron utilizando chatbots de IA. Los actores de amenazas de origen ruso vinculados a Stop News probablemente estén dirigidos por empresas de marketing que utilizan modelos de inteligencia artificial (y otros) para generar contenido y videos para compartir en sitios de redes sociales. El contenido generado criticaba el papel de Francia y Estados Unidos en África y Rusia en el continente. También produjo contenido en inglés que promovió una narrativa antiucraniana. Una operación de influencia encubierta originada en China utilizó un modelo llamado Codename para generar contenido en las redes sociales crítico con el presidente filipino Ferdinand Marcos y creó publicaciones sobre figuras políticas y activistas involucrados en el impacto ambiental de Vietnam en el Mar de China Meridional y el movimiento prodemocracia de Hong Kong.
En dos casos diferentes, cuentas chinas sospechosas pidieron a ChatGpt que identificara a los organizadores de la petición de Mongolia y determinara la fuente de financiación de las cuentas X que criticaban al gobierno chino. Openai dijo que su modelo solo devuelve información disponible públicamente en las respuestas y no contiene información confidencial.
«Un uso novedoso para esto (red de influencia relacionada con China) fue una solicitud de asesoramiento sobre estrategias de crecimiento de las redes sociales, como cómo iniciar un desafío en TikTok y lograr que otros publiquen contenido en torno al hashtag #MyimmigrantStory (un hashtag ampliamente utilizado cuyas operaciones probablemente busquen influencia)», dijo Openai.
«Le pidieron a nuestro modelo que identificara ideas y luego generara transcripciones para sus publicaciones de TikTok. También proporciona recomendaciones sobre música de fondo y fotografías para acompañar».
Openai reiteró que sus herramientas se utilizaron para proporcionar a las partes interesadas en amenazas nuevas capacidades que no se podían obtener de múltiples recursos en línea disponibles públicamente y para proporcionar eficiencias incrementales a los flujos de trabajo existentes.
Pero una de las conclusiones más interesantes del informe es que los actores de amenazas están adaptando sus tácticas para eliminar cualquier señal que pueda indicar que el contenido fue generado por herramientas de inteligencia artificial.
«Una de las redes de fraude (de Camboya) parece haber pedido al modelo que eliminara el guión EM (guión largo, -) de la salida, o que lo eliminara manualmente antes de publicarlo», dijo la compañía. «Durante varios meses, el EM Dash ha sido el foco de las discusiones en línea como un posible indicador del uso de la IA. Este caso sugiere que los actores de amenazas estaban al tanto de esa discusión».
Los hallazgos de Openai se producen cuando Rival Humanity lanza una herramienta de auditoría de código abierto llamada Petri (abreviatura de «Herramienta de exploración paralela para interacciones riesgosas») para acelerar la investigación de seguridad de la IA y comprender mejor el comportamiento del modelo en una variedad de categorías, incluido el engaño, la adulación, el fomento del engaño del usuario, la cooperación con solicitudes dañinas y la autodirección.
«Petri implementa agentes automatizados que prueban sistemas de inteligencia artificial específicos a través de diversas conversaciones de múltiples turnos que involucran usuarios y herramientas simulados», dijo Anthropic.
«Los investigadores proporcionan a Petri una lista de instrucciones semilla que apuntan a los escenarios y comportamientos que desean probar. Petri opera en cada instrucción semilla en paralelo. Para cada instrucción semilla, el agente auditor interactúa con el modelo objetivo en un ciclo de uso de herramientas.
Source link
