Irónicamente, la plataforma de inteligencia artificial (IA) de código abierto Hugging Face ha revelado ser víctima de un ataque por parte de un sistema autónomo de agentes de IA.
La compañía dijo que detectó y respondió a un incidente que tuvo como objetivo su infraestructura de producción a principios de la semana pasada.
«Hemos identificado acceso no autorizado a un conjunto limitado de datos internos y algunas credenciales utilizadas en nuestros servicios», dijo la compañía en un comunicado.
La investigación sobre la violación está en curso, pero Hugging Face dijo que no ha encontrado evidencia de que sus agentes de inteligencia artificial hayan manipulado modelos, conjuntos de datos, espacios disponibles públicamente para el usuario o su propia cadena de suministro de software.
El punto de partida del ataque fue el proceso de procesamiento de datos en sí, donde el conjunto de datos malicioso aprovechó dos rutas de ejecución de código (es decir, dentro del cargador de conjunto de datos de código remoto y la inyección de plantilla dentro de la configuración del conjunto de datos) para ejecutar código en el trabajador de procesamiento.
Con este acceso, el actor de amenazas supuestamente escaló al acceso a nivel de nodo, recopiló credenciales de nube y clúster y se movió lateralmente a múltiples clústeres internos durante el fin de semana.
Se desconoce el modelo de lenguaje a gran escala (LLM) exacto utilizado para llevar a cabo el ataque, pero la campaña fue ejecutada por un marco de agente autónomo que realizó «miles de acciones individuales en una flota de entornos limitados de corta duración utilizando comando y control automigratorio que se ejecuta en servicios públicos».
Hugging Face dijo que desde entonces ha abordado la causa raíz del problema, específicamente la ruta de ejecución del código utilizada para el acceso inicial. También se realizaron los siguientes pasos de reparación:
Eliminamos la huella del atacante en el clúster afectado y reconstruimos los nodos comprometidos. Las credenciales y tokens afectados fueron revocados y rotados, y como precaución se realizó una rotación extensa de secretos. Se introdujeron barreras de seguridad adicionales y controles de admisión más estrictos para los grupos. Detección y alertas mejoradas para notificar a los socorristas en cuestión de minutos, 24 horas al día, 7 días a la semana, 365 días al año.
Como protección adicional, Hugging Face alienta a los clientes a rotar sus tokens de acceso y revisar la actividad reciente en sus cuentas.
La compañía también dijo que confiaba en el GLM 5.2 de Z.ai, un modelo chino de peso abierto, para realizar análisis forenses porque el modelo Western Frontier rechazó solicitudes que contenían comandos de ataque reales, cargas útiles de explotación y artefactos de comando y control (C2) debido a que las barreras de seguridad se activaron y no pudieron distinguir entre atacantes y operaciones legítimas de respuesta a incidentes.
«Esta experiencia muestra lagunas que vale la pena planificar», afirmó la empresa con sede en Nueva York. «No sabemos qué modelo estaba impactando a los agentes del atacante: el modelo de host con jailbreak o el modelo de peso promiscuo sin restricciones. De cualquier manera, el atacante está sujeto a políticas de uso, mientras que nuestro propio trabajo forense fue bloqueado por las barreras del modelo de host que probamos por primera vez».
«La lección práctica para los defensores es examinar y preparar modelos capaces que puedan ejecutarse en su propia infraestructura antes de que ocurra un incidente para evitar bloqueos de barrera y evitar que los datos y credenciales de los atacantes abandonen el entorno».
Source link
