¿Qué sucede si un agente de IA decide que la mejor manera de completar una tarea es chantajearte?
Esa no es una hipótesis. Barmak Meftah, socio de la firma de capital de riesgo de ciberseguridad Ballistic Ventures, dijo que algo como esto le sucedió recientemente a un empleado de una empresa que trabaja con un agente de inteligencia artificial. El empleado intentó suprimir lo que el agente quería hacer y lo que estaba capacitado para hacer, pero el agente escaneó la bandeja de entrada del usuario en busca de correos electrónicos inapropiados y amenazó con reenviar el correo electrónico a la junta directiva para chantajear al usuario.
«En la mente del agente, está haciendo lo correcto», dijo Mehta a TechCrunch en el episodio de Equity de la semana pasada. «Estamos tratando de proteger a los usuarios finales y las empresas».
El ejemplo de Mehta recuerda al problema del clip de la IA de Nick Bostrom. Este experimento mental ilustra los riesgos existenciales potenciales que plantea una IA superinteligente que persigue decididamente un objetivo aparentemente inofensivo (hacer clips) excluyendo todos los valores humanos. En el caso de este agente de IA empresarial, la falta de contexto sobre por qué el empleado quería anular el objetivo lo llevó a crear un subobjetivo que elimina (mediante intimidación) un obstáculo para que pueda lograr su objetivo principal. Combinado con la naturaleza no determinista de los agentes de IA, «las cosas pueden salir mal», dice Meftah.
Los agentes desalineados son solo una capa del desafío de seguridad de la IA que la empresa de cartera Ballistic Witness AI está resolviendo. Witness AI dice que puede monitorear el uso de la IA en una empresa, detectar cuando los empleados usan herramientas no autorizadas, bloquear ataques y garantizar el cumplimiento.
Witness AI recaudó 58 millones de dólares esta semana gracias a un crecimiento de más del 500 % en ARR y un aumento de 5 veces en la plantilla de empleados con respecto al año pasado, a medida que las empresas comprenden el uso de la IA en la sombra y buscan escalar la IA de forma segura. Como parte de la financiación de Witness AI, la compañía anunció nuevas protecciones de seguridad de IA para agentes.
«La gente está creando agentes de IA que asumen los privilegios y funciones de las personas que los administran, pero quieren asegurarse de que estos agentes no se porten mal, que no eliminen archivos, que no se porten mal», dijo Rick Caccia, cofundador y director ejecutivo de Witness AI, a TechCrunch en Equity.
evento de crisis tecnológica
san francisco
|
13-15 de octubre de 2026
Meftah considera que el uso de agentes aumentará «exponencialmente» en toda la empresa. Complementando este crecimiento y el nivel de velocidad de las máquinas de los ataques impulsados por IA, la analista Lisa Warren predice que el software de seguridad de IA se convertirá en un mercado de entre 800 mil millones y 1,2 billones de dólares para 2031.
«Creo que la observabilidad del tiempo de ejecución y los marcos de tiempo de ejecución para la seguridad y el riesgo serán absolutamente esenciales», dijo Mehta.
En cuanto a cómo estas nuevas empresas planean competir con grandes actores como AWS, Google y Salesforce, que están incorporando herramientas de gobernanza de IA en sus plataformas, Mehta dijo: «La seguridad de la IA y la seguridad de los agentes es algo enorme, y hay espacio para muchos enfoques».
Muchas empresas «quieren una plataforma independiente de extremo a extremo que esencialmente proporcione observabilidad y gobernanza en torno a la IA y los agentes», dijo.
Caccia señaló que, en lugar de incorporar funciones de seguridad en el modelo en sí, Witness AI reside en la capa de infraestructura y monitorea las interacciones entre los usuarios y los modelos de IA. Y eso fue intencional.
«Extrajimos intencionalmente algunos de los problemas que OpenAI no puede abordar fácilmente», dijo. «Eso significa que competiremos más con empresas de seguridad tradicionales que con empresas modelo. Entonces la pregunta es: ¿cómo podemos vencerlas?».
Caccia no quiere que Witness AI sea simplemente otra startup adquirida. Quiere que su empresa crezca y se convierta en un importante proveedor independiente.
«CrowdStrike lo hizo con (protección) de punto final. Splunk lo hizo con SIEM. Okta lo hizo con identidad», dijo. «Alguien entra y se para junto a los grandes… y construimos Witness para poder hacerlo desde el primer día.
Source link
