Los investigadores de ciberseguridad han señalado un nuevo problema de seguridad en los navegadores web de agentes como OpenAI ChatGPT Atlas que expone el modelo de inteligencia artificial (IA) subyacente a ataques de envenenamiento contextual.
El ataque, ideado por la empresa de seguridad de IA SPLX, permite a atacantes maliciosos configurar sitios web que ofrecen contenido diferente a los navegadores y rastreadores de IA ejecutados por ChatGPT y Perplexity. Esta tecnología recibe el nombre en código de encubrimiento de IA.
Este enfoque es un tipo de encubrimiento de motores de búsqueda, que se refiere a la práctica de mostrar una versión de una página web a los usuarios y mostrar otra versión a los rastreadores de los motores de búsqueda, con el objetivo final de manipular las clasificaciones de búsqueda.
La única diferencia en este caso es que los atacantes han optimizado rastreadores de IA de diferentes proveedores con comprobaciones simples de agentes de usuario que conducen a la manipulación de la entrega de contenido.
“Estos sistemas se basan en la búsqueda directa, por lo que cualquier contenido que proporcionen se convierte en una descripción general de la IA, una descripción general o una verdad fundamental para la inferencia autónoma”, dijeron los investigadores de seguridad Ivan Vlahov y Bastien Eymery. «Esto significa que con una única regla condicional, ‘Si agente de usuario = ChatGPT, publique esta página en su lugar’, puede dar forma a lo que millones de usuarios percibirán como resultados autorizados».
SPLX dijo que, si bien parece simple, el encubrimiento dirigido a la IA puede convertirse en una poderosa arma de desinformación y socavar la confianza en las herramientas de IA. Decirle a un rastreador de IA que cargue algo más en lugar del contenido real también puede introducir sesgos y afectar los resultados de los sistemas que dependen de dichas señales.
«Los rastreadores de IA pueden ser engañados tan fácilmente como los primeros motores de búsqueda, pero el impacto posterior es mucho mayor», afirmó la compañía. «El SEO (optimización de motores de búsqueda) incorpora cada vez más AIO (optimización de inteligencia artificial) para manipular la realidad».
El grupo de análisis de amenazas hCaptcha (hTAG) anunció la divulgación después de que el análisis del agente del navegador en 20 de los escenarios de explotación más comunes, desde cuentas múltiples hasta pruebas de tarjetas y suplantación de soporte, descubriera que el producto intentó casi todas las solicitudes maliciosas sin requerir un jailbreak.
Además, el estudio encontró que en escenarios donde una acción estaba «bloqueada», la mayoría de las detenciones se debían a una falta de funcionalidad técnica en la herramienta, en lugar de a un dispositivo de seguridad integrado en la herramienta. hTAG señaló que se descubrió que ChatGPT Atlas realizaba tareas peligrosas cuando se incluía como parte de los ejercicios de depuración.
Por otro lado, se ha observado que Claude Computer Use y Gemini Computer Use pueden realizar operaciones de cuenta riesgosas, como restablecer contraseñas, sin ninguna restricción, y este último también ha mostrado un comportamiento agresivo cuando se trata de cupones de fuerza bruta en sitios de comercio electrónico.
hTAG también probó las medidas de seguridad de Manus AI y descubrió que realizó con éxito el control de cuentas y el secuestro de sesiones, mientras que Perplexity Comet realizó inyecciones SQL espontáneas para extraer datos ocultos.
«Los agentes a menudo iban más allá, intentando la inyección de SQL sin la solicitud del usuario o intentando eludir los muros de pago inyectando JavaScript en las páginas», decía el periódico. «Debido a la casi total falta de salvaguardias que observamos, es muy probable que estos mismos agentes puedan ser utilizados rápidamente por atacantes contra usuarios legítimos que los descargaron».
Source link
