Incluso cuando los copilotos y asistentes de IA se convierten en parte de las operaciones diarias, los equipos de seguridad siguen centrados en proteger los propios modelos. Sin embargo, incidentes recientes sugieren que el mayor riesgo reside en otra parte: en los flujos de trabajo que rodean a estos modelos.
Recientemente se descubrió que dos extensiones de Chrome haciéndose pasar por ayudantes de IA robaban datos de chat de ChatGPT y DeepSeek de más de 900.000 usuarios. Por otra parte, los investigadores demostraron cómo una inyección rápida oculta en un repositorio de código podría engañar al asistente de codificación de inteligencia artificial de IBM para que ejecute malware en la máquina de un desarrollador.
Ninguno de los ataques destruyó el algoritmo de IA en sí.
Explotaron el contexto en el que operaba la IA. Este es un patrón al que vale la pena prestarle atención. Cuando los sistemas de inteligencia artificial se integran en procesos comerciales del mundo real, resumiendo documentos, redactando correos electrónicos, recuperando datos de herramientas internas, etc., proteger el modelo no es suficiente. El objetivo es el flujo de trabajo en sí.
Los modelos de IA se están convirtiendo en motores de flujo de trabajo
Para comprender por qué esto es importante, consideremos cómo se utiliza realmente la IA en la actualidad.
Las empresas ahora lo utilizan para conectar aplicaciones y automatizar tareas que antes se realizaban manualmente. Un asistente de redacción con IA podría recuperar documentos confidenciales de SharePoint y condensarlos en borradores de correo electrónico. Un chatbot de ventas puede hacer referencias cruzadas de registros internos de CRM para responder las preguntas de los clientes. En cada uno de estos escenarios, los límites entre las aplicaciones se difuminan y se crean nuevas rutas de integración sobre la marcha.
Lo que hace que esto sea peligroso es la forma en que opera el agente de IA. Se basan en una toma de decisiones probabilística en lugar de reglas codificadas y generan resultados basados en patrones y contexto. Una información escrita cuidadosamente puede hacer que una IA se comporte de maneras que sus diseñadores no pretendían. La IA no tiene un concepto nativo de límites de confianza, por lo que los sigue.
Esto significa que la superficie de ataque incluye todas las entradas, salidas y puntos de integración que toca el modelo.
Si un atacante puede manipular fácilmente el contexto que ve un modelo o los canales que utiliza, no hay necesidad de piratear el código del modelo. El incidente mencionado anteriormente ilustra esto. Las inyecciones rápidas ocultas en los repositorios secuestran el comportamiento de la IA durante las tareas rutinarias, lo que permite que extensiones maliciosas extraigan datos de las conversaciones de la IA sin siquiera tocar el modelo.
Por qué los controles de seguridad tradicionales no son suficientes
Estas amenazas al flujo de trabajo exponen los puntos ciegos de seguridad tradicionales. La mayoría de las defensas tradicionales se construyeron en torno a software determinista, roles de usuario estables y límites claros. Los flujos de trabajo impulsados por IA rompen los tres supuestos.
Las aplicaciones más populares distinguen entre código confiable y entrada que no es confiable. Los modelos de IA no. Para ellos, todo es sólo texto, por lo que las instrucciones maliciosas ocultas en un PDF no son diferentes de los comandos legítimos. La carga útil no es un código malicioso, por lo que la validación de entrada tradicional es inútil. Es sólo lenguaje natural. El monitoreo tradicional detecta anomalías obvias, como descargas grandes o inicios de sesión sospechosos. Pero una IA que lee 1000 registros como parte de una consulta de rutina parece un tráfico normal de servicio a servicio. Si esos datos se resumen y se envían al atacante, técnicamente no se ha infringido ninguna regla. Las políticas de seguridad más comunes especifican qué está permitido o bloqueado. Es decir, no permita que este usuario acceda a ese archivo, bloquee el tráfico a este servidor, etc. Sin embargo, el comportamiento de la IA depende del contexto. ¿Cómo se escribe una regla que dice «nunca exponer los datos del cliente en la salida»? Los programas de seguridad se basan en revisiones periódicas y configuraciones fijas, como auditorías trimestrales y reglas de firewall. Los flujos de trabajo de IA no son estáticos. Las integraciones pueden agregar nuevas funciones después de actualizar o conectarse a nuevas fuentes de datos. Para cuando se produzca la revisión trimestral, es posible que los tokens ya se hayan filtrado.
Proteger los flujos de trabajo impulsados por la IA
Entonces, un mejor enfoque para todo esto es tratar todo el flujo de trabajo como protegido, no solo el modelo.
Empiece por comprender dónde se utiliza realmente la IA, desde herramientas oficiales como Microsoft 365 Copilot hasta extensiones de navegador que los empleados instalan por su cuenta. Comprenda a qué datos puede acceder cada sistema y qué acciones puede tomar. Muchas organizaciones se sorprenden al descubrir que tienen docenas de servicios de IA en la sombra ejecutándose en sus negocios. Si su asistente de IA es solo para resúmenes internos, limite el envío de correos electrónicos externos. Escanee la salida antes de que los datos confidenciales abandonen su entorno. Estas barreras de seguridad deben existir fuera del modelo mismo, es decir, dentro del middleware que verifica antes de realizar acciones. Trate a los agentes de IA como cualquier otro usuario o servicio. Si su IA solo necesita acceso de lectura a un sistema, no le dé acceso completo a todo. Limite el alcance de los tokens de OAuth a los privilegios mínimos necesarios y supervise anomalías como el acceso repentino de la IA a datos que nunca antes había tocado. Finalmente, también es útil educar a los usuarios sobre los riesgos de copiar extensiones de navegador no autorizadas y mensajes de fuentes desconocidas. Examine minuciosamente los complementos de terceros antes de implementarlos y trate las herramientas que interactúan con las entradas o salidas de la IA como parte de su perímetro de seguridad.
Cómo puede ayudar una plataforma como Reco
En realidad, no puedes escalar si haces todo esto manualmente. Como resultado, está surgiendo una nueva categoría de herramientas: las plataformas de seguridad dinámicas SaaS. Estas plataformas actúan como una capa de protección en tiempo real sobre los flujos de trabajo impulsados por IA, aprendiendo cómo es el comportamiento normal y señalando anomalías cuando ocurren.
Reco es uno de los mejores ejemplos.
Figura 1: Descubrimiento de aplicaciones de IA de Reco Generate
Como se muestra arriba, la plataforma brinda a los equipos de seguridad visibilidad del uso de la IA en toda la organización, revelando qué aplicaciones de IA generativa se están utilizando y cómo están conectadas. A partir de ahí, puede aplicar barreras de seguridad a nivel de flujo de trabajo para detectar comportamientos riesgosos en tiempo real y mantener el control sin ralentizar su negocio.
Solicite una demostración: comience con Reco.
Source link
