Este artículo proporciona una breve descripción de la plataforma de seguridad de pilares para ayudarlo a comprender mejor cómo abordar los desafíos de seguridad de la IA.
Pillar Security construye una plataforma que cubre todo el ciclo de vida de desarrollo de software e implementación con el objetivo de proporcionar confianza a los sistemas de IA. La plataforma utiliza su enfoque holístico para mostrar nuevas formas de detectar las amenazas de IA, comenzando desde la etapa de planificación previa y pasando hasta el tiempo de ejecución. En el camino, los usuarios obtienen visibilidad en la actitud de seguridad de la aplicación, lo que permite una ejecución segura de IA.
The pillar is uniquely suited to the challenges inherent in AI security. El cofundador y CEO Dor Sarig proviene de un entorno cibernético agresivo donde pasó 10 años de importantes operaciones de seguridad para organizaciones gubernamentales y empresariales. En contraste, los cofundadores y el CTO Ziv Karlinger han desarrollado tecnología defensiva durante más de una década para combatir el delito cibernético financiero y las cadenas de suministro aseguradas. Juntos, su enfoque de Red Team Blue Team forma la base de la seguridad del pilar y contribuye a la mitigación de amenazas.
La filosofía detrás del enfoque
Before jumping into the platform, it is important to understand the fundamental approach the pillars have taken. En lugar de desarrollar un sistema aislado donde cada pieza de la plataforma se enfoca en una sola área, Pillar ofrece un enfoque holístico. Cada componente en la plataforma enriquece los siguientes componentes y crea un circuito de retroalimentación cerrado que permite que la seguridad se adapte a cada caso de uso único.
Las detecciones encontradas en la sección de gestión de pose de la plataforma son ricas en los datos detectados en la sección de descubrimiento. Del mismo modo, las barandillas adaptativas utilizadas durante el tiempo de ejecución se basan en el modelado de amenazas y las ideas del equipo rojo. Este bucle de retroalimentación dinámica optimiza la defensa en vivo cuando se descubren nuevas vulnerabilidades. Este enfoque crea defensas poderosas, holísticas y contextuales contra las amenazas para los sistemas de IA, desde la construcción hasta el tiempo de ejecución.
AI Workbench: modelado de amenazas que inicia AI
Pillar Security Platforms start with what is called the AI Workbench. Antes de que se escriba el código, este patio seguro para el modelado de amenazas permite a los equipos de seguridad experimentar con casos de uso de IA y asignar activamente las amenazas potenciales. Esta etapa es importante para garantizar que las organizaciones alineen sus sistemas de IA con la política corporativa y los requisitos reglamentarios.
Los desarrolladores y los equipos de seguridad se guían a través de un proceso de modelado de amenazas estructurado para generar posibles escenarios de ataque específicos para los casos de uso de aplicaciones. El riesgo coincide con el contexto comercial de la aplicación, y el proceso coincide con marcos establecidos como Stride, ISO, Mitre Atlas, el Top 10 OWASP de LLMS y el marco de ventas propietario de Pillar. El objetivo es generar seguridad y confianza en su diseño desde el primer día.
Descubrimiento de IA: visibilidad en tiempo real en activos de IA
Los expansiones de IA son un desafío complejo para los equipos de seguridad y gobernanza. Estos no tienen visibilidad de cómo y dónde se usa la IA dentro de los entornos de desarrollo y producción.
Pillar adopta un enfoque único para la seguridad de IA más allá de las tuberías CI/CD y el SDLC tradicional. Encuentre y catalogan automáticamente todos los activos de IA dentro de su organización integrándose directamente con los repositorios de código, las plataformas de datos, los marcos de IA/ML, los IDP y los entornos locales. La plataforma muestra un inventario completo de aplicaciones de IA, incluidos modelos, herramientas, conjuntos de datos, servidores MCP, agentes de codificación, metaprompts y más. Esta visibilidad guía a los equipos y forma la base para las políticas de seguridad de su organización, proporcionando una comprensión clara de los casos de uso del negocio, como lo que hacen las aplicaciones y cómo su organización las usa.
Figura 1: La seguridad del pilar descubre automáticamente todos los activos de IA en su organización y señala componentes no supervisados para evitar puntos ciegos de seguridad.
AI-SPM: mapeo y gestión de riesgos de IA
Después de identificar todos los activos de IA, Pilar puede comprender las actitudes de seguridad analizando cada activo. En esta etapa, la gestión astuta de seguridad de IA de la plataforma (AI-SPM) realiza un análisis sólido y dinámico de todos los activos de IA y sus interconexiones.
Al analizar los activos de IA, Pillar crea una representación visual de los sistemas de agentes identificados, sus componentes y superficies de ataque asociadas. Además, identifica los riesgos de la cadena de suministro, la adicción a los datos y el modelo/aviso/nivel de herramienta. プラットフォーム内に表示されるこれらの洞察は、脅威アクターがシステムをどのように移動するかを正確に示すため、チームが脅威に優先順位を付けることができます。
Figura 2: El Centro de Políticas de Pilar proporciona un tablero centralizado para monitorear las actitudes de cumplimiento de la IA en toda la empresa
AI Red Teaming: simula un ataque antes de que ocurra
La plataforma utiliza técnicas populares como inyección rápida y ataques sofisticados dirigidos a vulnerabilidades de lógica comercial para realizar ataques de simulación adaptados al caso de uso de los sistemas de IA. Estas actividades del equipo rojo lo ayudan a manipular a los agentes de IA para determinar si pueden manipular reembolsos fraudulentos, fuga de datos confidenciales o realizar acciones de herramientas no deseadas. Este proceso no solo evalúa el modelo, sino que también evalúa la integración de una gama más amplia de aplicaciones de agentes con herramientas y API externas.
El pilar también ofrece características únicas a través del equipo rojo para usar la herramienta. La plataforma integra el modelado de amenazas con la activación de la herramienta dinámica y prueba rigurosamente cómo las herramientas y las llamadas API de las cadenas se arman en escenarios de ataque realistas. Este enfoque avanzado revela la vulnerabilidad de los métodos de prueba rápidos tradicionales incapacidad para detectar.
Ya sea para empresas que usen terceros y aplicaciones de IA integradas, o chatbots personalizados que no tienen acceso al código subyacente, Pillar ofrece equipos rojos basados en el objetivo de Black Box. Con solo la URL y las credenciales, los agentes adversarios de Pilar pueden probar las aplicaciones de IA accesibles para el estrés, ya sean internas o externas. Estos agentes simulan ataques reales para explorar los límites de los datos, identificar los riesgos de exposición y permitir a las organizaciones evaluar y proteger con confianza los sistemas de IA de terceros sin la necesidad de integrarlos o personalizarlos.
Guarderrails: aplicación de la política de tiempo de ejecución que desea aprender
Los controles de seguridad en tiempo real se vuelven esenciales a medida que las aplicaciones de IA se mueven en la producción. El pilar aborda esta necesidad con un sistema de barandilla adaptativa que monitorea las entradas y salidas durante el tiempo de ejecución, diseñado para hacer cumplir las políticas de seguridad sin interrumpir el rendimiento de la aplicación.
A diferencia de los conjuntos de reglas estáticas y los firewalls tradicionales, estas barandillas evolucionan continuamente a los modelos en lugar de centrarse en la aplicación. Según Pillar, alimentan datos de telemetría, las ideas recopiladas durante el equipo rojo y la inteligencia de amenazas para adaptarse a las nuevas tecnologías de ataque en tiempo real. Esto permite que la plataforma coordine la aplicación en función de la lógica comercial y el comportamiento de cada aplicación, por lo que es extremadamente precisa con las alertas.
Durante el tutorial, vimos cómo ajustar las barandillas para evitar el mal uso, como el pelado de datos y las acciones no deseadas, mientras manteníamos el comportamiento previsto de la IA. Las organizaciones pueden hacer cumplir las políticas de IA y las reglas de código personalizado en sus aplicaciones, con la confianza de que la seguridad y la funcionalidad coexisten.
Figura 4: Monitoree la actividad de tiempo de ejecución de monitoreo de la barandilla adaptativa en pilar para detectar y marcar el uso malicioso y las violaciones de políticas
Sandbox: incluye riesgo de agente
Una de las preocupaciones más importantes son las instituciones excesivas. Si un agente puede realizar acciones más allá de su alcance previsto, puede conducir a consecuencias no deseadas.
The pillar addresses this in the working stage via a safe sandbox. Los agentes de IA, incluidos los sistemas avanzados como los agentes de codificación y los servidores MCP, se ejecutan dentro de un entorno bien controlado. Estos tiempos de ejecución aislados aplican principios de confianza cero a agentes separados de la infraestructura crítica y los datos confidenciales, al tiempo que les permite operar productivamente. Todas las acciones se capturan y registran en detalle, proporcionando un sendero forense granular que los equipos pueden analizar después de los hechos. この封じ込め戦略により、組織は AI エージェントに操作に必要な部屋を安全に与えることができます。
Telemetría de IA: observabilidad de inmediato a acción
La seguridad no se detiene cuando la aplicación se pone en marcha. A lo largo del ciclo de vida, el pilar recopila continuamente datos de telemetría en toda la pila de IA. Las indicaciones, las acciones de los agentes, las llamadas de herramientas y los metadatos de contexto se registran en tiempo real.
Esta telemetría mejora la investigación profunda y el seguimiento de cumplimiento. Los equipos de seguridad pueden rastrear incidentes desde síntomas hasta causas raíz, comprender el comportamiento anormal y garantizar que los sistemas de IA funcionen dentro de los límites de las políticas. No es suficiente saber qué pasó. Se trata de comprender por qué sucedió algo y cómo evitar que vuelva a suceder.
La sensibilidad de los datos de telemetría permite que los pilares se implementen en la nube del cliente para el control de datos completo.
Pensamientos finales
Los pilares están separados por una combinación de profundidad técnica, ideas del mundo real y flexibilidad de grado empresarial.
Fundado por líderes en ciberseguridad ofensiva y defensiva, el equipo tiene un historial de investigación pionera que descubre vulnerabilidades críticas y produce informes detallados de ataque del mundo real. Esta experiencia está integrada en la plataforma en todos los niveles.
El pilar también adopta un enfoque holístico para la seguridad de IA que se extiende más allá de la tubería CI/CD. Integre la seguridad en las fases de planificación y codificación y conecte directamente al repositorio de códigos, plataformas de datos y entornos locales para obtener una visibilidad temprana y profunda en los sistemas donde se construyen los pilares. Este contexto permite un análisis de riesgos más preciso y pruebas de equipo rojo altamente dirigido a medida que avanza el desarrollo.
La plataforma presenta el alimento de inteligencia de amenazas AI más grande de la industria rico en más de 10 millones de interacciones en el mundo real. Esta amenaza de datos alimenta las pruebas automatizadas, el modelado de riesgos y las defensas adaptativas que evolucionan con el panorama de amenazas.
Finalmente, Pillar está creado para una implementación flexible. Puede ejecutar entornos híbridos totalmente en el sitio o en la nube, lo que permite a los clientes tener control total sobre datos confidenciales, indicaciones y sus propios modelos. これは、データレジデンシーとセキュリティが最重要である規制業界にとって重要な利点です。
Juntas, estas capacidades proporcionan al pilar una base poderosa y práctica para la adopción segura de IA a gran escala, ayudando a las organizaciones innovadoras a administrar riesgos específicos de IA y ganar confianza en los sistemas de IA.
Source link
