Un atacante malicioso podría explotar la configuración predeterminada de la plataforma de inteligencia artificial (IA) generativa Now Assist de ServiceNow y aprovechar las capacidades de su agente para realizar ataques de inyección rápidos.
Según AppOmni, la inyección rápida de segundo grado aprovecha las capacidades de detección de agente a agente de Now Assist para realizar acciones no autorizadas que permiten a los atacantes copiar y extraer datos corporativos confidenciales, modificar registros y escalar privilegios.
«Este hallazgo es preocupante porque no es un error en la IA; es un comportamiento esperado definido por ciertas opciones de configuración predeterminadas», dijo Aaron Costello, jefe de investigación de seguridad SaaS en AppOmni.
«Cuando los agentes pueden descubrirse y reclutarse entre sí, una solicitud inofensiva puede convertirse silenciosamente en un ataque, permitiendo a los delincuentes robar datos confidenciales o aumentar el acceso a los sistemas internos. Estas configuraciones a menudo se pasan por alto».
Este ataque es posible gracias a las funciones de descubrimiento de agentes y colaboración de agentes dentro de Now Assist de ServiceNow. Debido a que Now Assist brinda la capacidad de automatizar funciones como las operaciones del servicio de asistencia técnica, este escenario abre la puerta a posibles riesgos de seguridad.
Por ejemplo, un agente benigno puede analizar mensajes especialmente diseñados incrustados en contenido al que se le permite acceder y emplear un agente más potente para leer o modificar registros, copiar datos confidenciales o enviar correos electrónicos, incluso cuando la protección integrada de inyección de mensajes está habilitada.
El aspecto más importante de este ataque es que la acción se desarrolla entre bastidores sin el conocimiento de la organización víctima. En esencia, la comunicación entre agentes se habilita a través de ajustes de configuración controlables, como el LLM predeterminado que se utilizará, las opciones de configuración de herramientas y los valores predeterminados específicos del canal en el que se implementan los agentes.
El modelo de lenguaje grande (LLM) subyacente debe admitir el descubrimiento de agentes (Azure OpenAI LLM y la selección predeterminada, Now LLM, ambos admiten esta característica). Los agentes de Now Assist se agrupan automáticamente en el mismo equipo de forma predeterminada y se llaman entre sí. Los agentes están marcados como detectables de forma predeterminada cuando se publican.
Aunque estos valores predeterminados ayudan a facilitar la comunicación entre agentes, esta arquitectura puede ser susceptible de inyección rápida para agentes cuya tarea principal es leer datos que no han sido insertados por el usuario que llama al agente.
«A través de una inyección secundaria, un atacante podría redirigir una tarea benigna asignada a un agente benigno a algo mucho más dañino aprovechando las utilidades y capacidades de otros agentes del equipo», dijo AppOmni.
«Es importante destacar que el agente Now Assist se ejecuta con los privilegios del usuario que inició la interacción, no del usuario que creó el mensaje malicioso y lo insertó en el campo, a menos que se configure de otra manera».
Luego de una divulgación responsable, ServiceNow dijo que este comportamiento era intencionado, pero desde entonces la compañía actualizó su documentación para brindar más claridad sobre el asunto. Los hallazgos demuestran la necesidad de proteger mejor a los agentes de IA a medida que las empresas incorporan cada vez más capacidades de IA en sus flujos de trabajo.
Para mitigar estas amenazas de inyección rápida, recomendamos configurar el modo de ejecución supervisada para agentes privilegiados, deshabilitar la propiedad de anulación autónoma (‘sn_aia.enable_usecase_tool_execution_mode_override’), segmentar las tareas de los agentes por equipo y monitorear los agentes de IA para detectar comportamientos sospechosos.
«Si las organizaciones que utilizan el agente de IA de Now Assist no han examinado de cerca su configuración, es posible que ya estén en riesgo», añadió Costello.
Source link
