Los investigadores de seguridad cibernética han revelado una falla de seguridad ahora parcheada que se puede utilizar para capturar datos confidenciales, como claves API y indicaciones de usuario en la plataforma Langsmith de Langchain.
La vulnerabilidad con una puntuación CVSS de 8.8 de un máximo de 10.0 es el Agente Smith, con el nombre de Noma Security.
Langsmith es una plataforma de observabilidad y evaluación que permite a los usuarios desarrollar, probar y monitorear las aplicaciones del Modelo de Lenguaje a gran escala (LLM), incluidas las creadas con Langchain. El servicio también ofrece lo que se llama Langchain Hub. Actúa como un repositorio de todas las indicaciones publicadas, agentes y modelos.
«Esta vulnerabilidad recientemente identificada explotó a los usuarios desprevenidos que emplean agentes que contienen servidores de proxy malicioso preconfigurados cargados al ‘Hub rápido'», dijeron Sasi Levi y Gal Moyal en un informe compartido con Hacker News.
«Una vez adoptado, el proxy malicioso interceptó cuidadosamente todas las comunicaciones de los usuarios, incluidas las claves API (incluidas las claves API de OpenAI), las indicaciones del usuario, los documentos, las imágenes, las entradas de voz y otros datos confidenciales, sin el conocimiento de la víctima».
La primera fase del ataque se desarrolla esencialmente. Los malos actores crean agentes de inteligencia artificial (IA) y los configuran en servidores de modelos a través de la funcionalidad del proveedor de proxy. Esto le permite probar las indicaciones contra cualquier modelo que cumpla con la API de OpenAI. El atacante comparte al agente en Langchain Hub.
El siguiente paso es proceder por el usuario para encontrar este agente malicioso a través de Langchain Hub y proporcionar un mensaje como entrada para «probarlo». Al hacerlo, toda la comunicación con el agente se enruta en secreto a través del servidor proxy del atacante, extrayendo datos sin el conocimiento del usuario.
Los datos capturados incluyen la clave API de OpenAI, los datos de inmediato y los archivos adjuntos cargados. Los actores de amenaza armaron las claves de la API de OpenAI para obtener acceso no autorizado al entorno de las víctimas OpenAI, con consecuencias más graves como el robo de modelos y la fuga rápida del sistema.
Además, los atacantes pueden quedarse sin todas las cuotas API de la organización, aumentar los costos de facturación y restringir temporalmente el acceso a los servicios de OpenAI.
Eso no termina ahí. Si una víctima elige clonar a un agente en un entorno empresarial, junto con una configuración de proxy maliciosa integrada, se filtrará continuamente datos valiosos al atacante sin indicar que se está interceptando el tráfico.
Tras la divulgación responsable el 29 de octubre de 2024, se abordó una vulnerabilidad en el backend de Langchain como parte de las soluciones lanzadas el 6 de noviembre. Además, el parche implementa un mensaje de advertencia con respecto a la exposición a los datos cuando los usuarios intentan clonar un agente que contiene una configuración proxy personalizada.
«Más allá del riesgo inmediato de pérdidas económicas inesperadas del uso no autorizado de la API, los actores maliciosos pueden obtener acceso permanente a conjuntos de datos internos cargados para OpenAi, modelos patentados, secretos comerciales y otras propiedades intelectuales, lo que resulta en daños a la responsabilidad y la reputación», dijo el investigador.
La nueva variante WORMMGPT está en detalle
La divulgación se produce cuando Cato Network reveló que los actores de amenaza han lanzado dos variantes WORMGPT previamente no declaradas impulsadas por Xai Grok y Mistral AI Mixtral.
WORMGPT se lanzó a mediados de 2023 como una herramienta de IA de generación sin censura diseñada para promover explícitamente actividades maliciosas en activadores de amenazas, como crear correos electrónicos de phishing a medida y crear fragmentos de malware. El proyecto se cerró poco después de que el autor de la herramienta se quedara fuera como un programador portugués de 23 años.
Desde entonces, se han promovido varias nuevas variantes «WORMMGPT» en foros de delitos cibernéticos como formas de violación, como Xzin0vich-Wormgpt y Keanu-Wormgpt, diseñadas para proporcionar «respuestas sin censura a una amplia gama de temas», incluso si son «poco éticos o ilegales».
«WORMGPT actualmente sirve como una marca reconocible para una nueva clase de LLM sin censura», dijo el investigador de seguridad Vitaly Simonovich.
«Estas nuevas iteraciones de WORMGPT no son un modelo a medida construido desde cero, pero el resultado de la amenaza de los actores que adaptan hábilmente los LLM existentes. El sistema de manipulación potencialmente de manipulación y datos ilegales de fino, los autores proporcionan una poderosa herramienta impulsada por la IA para la manipulación cibernética de la marca WORMGPT».
Source link
