Google anunció el lunes una serie de nuevas funciones de seguridad para Chrome a medida que agrega capacidades de inteligencia artificial (IA) basadas en agentes a su navegador web.
Con este fin, el gigante tecnológico dijo que ha implementado una defensa en profundidad para dificultar que partes malintencionadas aprovechen las inyecciones indirectas que ocurren como resultado de la exposición a contenido web no confiable para causar daños.
La principal de las características es User Alignment Critic, que utiliza un segundo modelo para evaluar de forma independiente las acciones del agente de una manera aislada de indicaciones maliciosas. Este enfoque complementa las técnicas existentes de Google, como Spotlight, que indica a los modelos que sigan las instrucciones del usuario y del sistema en lugar de seguir el contenido incrustado en las páginas web.
«La crítica de alineación del usuario se realiza después de completar la planificación y verifica cada acción propuesta», dijo Google. «Su enfoque principal es la coordinación de tareas y determinar si la acción propuesta cumple con los objetivos declarados por el usuario. Si la acción no está coordinada, el crítico de la coordinación la vetará».
Este componente está diseñado para mostrar únicamente metadatos sobre la acción propuesta y no puede acceder a contenido web que no sea de confianza, por lo que no puede verse contaminado por mensajes maliciosos que pueda contener su sitio web. La idea de User Alignment Critic es proporcionar una protección contra intentos maliciosos de robar datos o secuestrar el propósito previsto para cumplir las órdenes del atacante.
«Cuando se rechaza una acción, Critic proporciona retroalimentación al modelo de planificación para reformular el plan. Si las fallas se repiten, el planificador puede devolver el control al usuario», dijo Nathan Parker del equipo de seguridad de Chrome.
Google también aplica lo que llama conjuntos de orígenes de agentes, asegurando que los agentes solo puedan acceder a datos de orígenes que sean relevantes para la tarea en cuestión, o fuentes de datos que usted elija compartir con los agentes. Esto tiene como objetivo abordar la omisión del aislamiento del sitio, lo que permite que un agente comprometido interactúe con cualquier sitio y extraiga datos de los sitios en los que ha iniciado sesión.
Esto se implementa mediante una función de puerta que determina qué orígenes son relevantes para una tarea y los clasifica en dos conjuntos.
Origen de solo lectura. El modelo Gemini AI de Google podrá utilizar el contenido. Origen de lectura/escritura. Los agentes pueden escribir o hacer clic además de leer.
«Este límite garantiza que los datos de sólo un conjunto limitado de fuentes estén disponibles para el agente, y que estos datos se pasen sólo a aquellas fuentes en las que puede escribir», explicó Google. «Esto limita el vector de amenaza de fuga de datos más allá del origen».
De manera similar a User Alignment Critic, la funcionalidad de puerta no está expuesta a contenido web que no sea de confianza. El planificador puede utilizar el contexto de la página web que el usuario ha compartido explícitamente en la sesión, pero también debe obtener la aprobación de la función de control antes de agregar un nuevo origen.
Otro pilar clave que sustenta la nueva arquitectura de seguridad se relaciona con la transparencia y el control del usuario, lo que permite a los agentes crear registros de trabajo para la observabilidad del usuario y solicitar aprobación explícita antes de navegar a sitios sensibles como portales bancarios o médicos, además de permitir el inicio de sesión a través del Administrador de contraseñas de Google y completar acciones web como compras, pagos y envío de mensajes.
Finalmente, el agente verifica cada página en busca de inyecciones indirectas y trabaja en paralelo con la Navegación segura y la detección de fraude en el dispositivo para bloquear contenido potencialmente sospechoso.
Google dijo: «Este clasificador de inyección rápida se ejecuta en paralelo con la inferencia del modelo de planificación para evitar que se tomen acciones basadas en el contenido que el clasificador determina que está apuntando intencionalmente al modelo para hacer algo inconsistente con los objetivos del usuario».
Para fomentar aún más la investigación y encontrar agujeros en el sistema, la compañía dijo que pagaría hasta 20.000 dólares por manifestaciones que condujeran a violaciones de los límites de seguridad. Estos incluyen inyecciones indirectas que permiten a los atacantes:
Realizar actividades fraudulentas sin confirmación. Extraer datos confidenciales sin tener una oportunidad efectiva de obtener la aprobación del usuario. Eludir las mitigaciones que idealmente habrían evitado un ataque exitoso en primer lugar.
«Al ampliar en profundidad algunos principios básicos como la separación de orígenes y la defensa e introducir una arquitectura modelo confiable, estamos construyendo una base segura para la experiencia del agente de Gemini en Chrome», dijo Google. «Seguimos comprometidos con la innovación continua y la colaboración con la comunidad de seguridad para ayudar a los usuarios de Chrome a explorar de forma segura una nueva era de la web».
Este anuncio sigue a un estudio de Gartner que pedía a las empresas que bloquearan el uso de navegadores de agentes de IA hasta que los riesgos asociados, como la inyección indirecta, el mal funcionamiento del agente y la pérdida de datos, se gestionen adecuadamente.
El estudio también advirtió sobre un posible escenario en el que los empleados «podrían verse tentados a utilizar navegadores de IA para automatizar ciertas tareas que son esenciales, repetitivas y de poco interés». Esto podría cubrir casos en los que las personas eluden la capacitación obligatoria en ciberseguridad al ordenarle a un navegador de inteligencia artificial que la complete en su nombre.
«Los navegadores de agentes, o lo que muchos llaman navegadores de IA, tienen el potencial de transformar la forma en que los usuarios interactúan con los sitios web y automatizar transacciones, al tiempo que plantean importantes riesgos de ciberseguridad», dijo la firma asesora. «Los CISO deberían bloquear todos los navegadores de IA en el futuro previsible para minimizar la exposición potencial a riesgos».
El desarrollo se produce después de que el Centro Nacional de Seguridad Cibernética de EE. UU. (NCSC) dijera que los modelos de lenguaje a gran escala (LLM) pueden verse afectados por una vulnerabilidad persistente conocida como inyección rápida y que nunca será posible resolver completamente el problema.
«Los modelos de lenguaje a gran escala (LLM) actuales simplemente no imponen límites de seguridad entre instrucciones y datos dentro de un mensaje», dijo David C., director técnico de investigación de plataformas en NCSC. «Por lo tanto, el diseño de protección debe centrarse en medidas de protección deterministas (no LLM) que limiten el comportamiento del sistema, en lugar de simplemente impedir que contenido malicioso llegue al LLM».
Source link
