Las ilusiones de la IA están abusando de la confianza humana a través de resultados confiables pero inexactos, lo que plantea serios riesgos de seguridad para la toma de decisiones sobre infraestructura crítica. Si un modelo de IA carece de certeza, no existe ningún mecanismo para reconocerlo. En cambio, genera la respuesta más probable basada en patrones en los datos de entrenamiento, incluso si esa respuesta es inexacta. Estos resultados pueden parecer autorizados y son especialmente peligrosos al tomar decisiones de seguridad en el mundo real.
Con base en el punto de referencia AA-Omniciencia de Artificial Analysis, evaluamos 40 modelos de IA en 2025 y descubrimos que todos los modelos probados, excepto cuatro, tenían más probabilidades de dar respuestas inexactas a preguntas difíciles que de dar respuestas correctas. A medida que la IA desempeña un papel cada vez más importante en las operaciones de ciberseguridad, las organizaciones deben tratar todas las respuestas generadas por la IA como vulnerabilidades potenciales hasta que sean verificadas por los humanos.
¿Qué es la alucinación por IA?
Las alucinaciones de la IA se presentan de manera convincente y los resultados suenan plausibles pero, en realidad, son inexactos. El modelo de lenguaje base no captura información verificada. Construyen respuestas prediciendo palabras y frases a partir de patrones aprendidos en datos de entrenamiento. Aunque sus reacciones son estadísticamente probables, no son necesariamente ciertas, por lo que la producción alucinatoria puede ser muy similar a la información precisa. Si bien alucinan, los modelos de IA pueden citar fuentes inexistentes, hacer referencia a estudios que nunca se han realizado o presentar datos fabricados con la misma confianza que información confiable.
Para las organizaciones, el principal problema que rodea a las ilusiones de la IA no es sólo la inexactitud, sino también una falsa sensación de confianza. Si los resultados de la IA parecen ser la verdad absoluta, es probable que los empleados asuman que son correctos y actúen en consecuencia sin verificarlos. En un entorno de ciberseguridad, la salida incorrecta de IA representa un riesgo de seguridad significativo. Esto se debe a que los resultados erróneos de la IA alimentan directamente los sistemas automatizados que no solo pueden informar decisiones críticas sino también desencadenar acciones operativas. Esto puede provocar interrupciones del sistema, pérdidas financieras y la introducción de nuevas vulnerabilidades.
¿Qué causa las alucinaciones por IA?
El primer paso para reducir los efectos de las alucinaciones de la IA es comprender cómo se forman. Varios factores que pueden contribuir a las alucinaciones por IA incluyen:
Datos de entrenamiento defectuosos: los modelos de IA aprenden de los datos utilizados para entrenarlos. Si los datos contienen información desactualizada o errores absolutos, el modelo incorpora esos defectos en el resultado. No señala discrepancias. Aprenderá de ellos. Sesgo de datos de entrada: la representación excesiva de ciertos patrones o escenarios puede hacer que los modelos de IA traten esos patrones como universalmente aplicables, incluso en contextos diferentes. Falta de validación de respuestas: el modelo de lenguaje base no está diseñado para validar la precisión de los hechos. Optimice para obtener resultados consistentes y razonables. Aunque algunos sistemas añaden capas de búsqueda y de tierra para mitigar este riesgo, el proceso de generación central sigue siendo vulnerable a las alucinaciones. Ambigüedad inmediata: las entradas ambiguas aumentan la probabilidad de que los modelos de IA llenen los vacíos con suposiciones, aumentando el riesgo de resultados falsos y alucinaciones.
Tres formas en que las ilusiones de la IA impactan la ciberseguridad
Si bien no todas las alucinaciones de la IA tienen el mismo impacto, la desinformación o la información fabricada pueden dejar a las organizaciones vulnerables a amenazas cibernéticas graves. Las tres formas principales en que se manifiestan las alucinaciones de la IA son a través de amenazas fallidas, amenazas inventadas y soluciones incorrectas.
1. Amenazas perdidas
La detección de amenazas por IA a menudo se basa en la identificación de patrones y anomalías basadas en datos históricos y comportamientos aprendidos. Si el ciberataque coincide con un comportamiento conocido, el modelo de IA funcionará bien. Pero si no es así, la amenaza puede pasar desapercibida porque el modelo no tiene nada con qué compararla. Esto es especialmente cierto para los vectores de ataque subestimados y los ataques de día cero que explotan vulnerabilidades sin parches de proveedores desconocidos. Debido a que estas amenazas no se reflejan en los datos de entrenamiento, el modelo de IA carece de contexto suficiente para alertarlo, lo que aumenta la probabilidad de que las vulnerabilidades pasen desapercibidas y queden expuestas en su entorno.
2. Amenazas fabricadas
A diferencia de las amenazas pasadas por alto, los modelos de IA también pueden generar falsos positivos al clasificar erróneamente la actividad normal como maliciosa y alertar a su equipo sobre amenazas que no existen. Por ejemplo, el tráfico normal de la red puede malinterpretarse como sospechoso, lo que desencadena alertas que provocan acciones innecesarias de respuesta a incidentes. Estas falsas alarmas pueden provocar apagados del sistema, desperdicio de recursos e interrumpir las operaciones contra amenazas inventadas. Con el tiempo, los falsos positivos repetidos pueden provocar fatiga en las alertas, lo que hace que los equipos de seguridad se vuelvan insensibles a todas las alertas. Esto aumenta el riesgo de que se pasen por alto amenazas legítimas en un entorno donde los equipos están condicionados a no confiar en las alertas.
3. Reparación inadecuada
Esta es una de las formas más peligrosas de alucinaciones de IA porque ocurre después de que ya se ha establecido la confianza. Por ejemplo, un sistema de inteligencia artificial podría recomendar con confianza eliminar archivos confidenciales, cambiar las configuraciones del sistema o deshabilitar las reglas del firewall. Estas acciones, especialmente cuando se realizan a través de cuentas privilegiadas, pueden exponer a las organizaciones a ataques basados en identidad, movimientos laterales o pérdidas irrecuperables de datos. Incluso si la detección de amenazas por IA es precisa, la inducción de ilusión puede hacer que un incidente de seguridad contenido se convierta en una violación más amplia.
Cómo las organizaciones pueden reducir el riesgo de alucinaciones por IA
Si bien las ilusiones de la IA no pueden eliminarse por completo, los siguientes controles y medidas de gobernanza pueden reducir significativamente su impacto.
Requerir revisión humana antes de actuar
Los resultados generados por la IA no deberían desencadenar acciones sensibles o privilegiadas sin verificación humana. Esto es especialmente importante para flujos de trabajo que implican cambios de infraestructura, actualizaciones de acceso o respuesta a incidentes. Los requisitos de revisión no deberían surgir sólo si algo parece estar mal. Un modelo puede parecer igualmente seguro tanto si es correcto como si no.
Trate los datos de entrenamiento como un activo de seguridad
Las alucinaciones de la IA a menudo se remontan a datos de entrenamiento. Al eliminar registros obsoletos, conjuntos de datos sesgados e información inexacta, auditar periódicamente los datos utilizados para entrenar y poner a tierra sus sistemas de IA reduce la probabilidad de que esas fallas aparezcan en su producción. A medida que el contenido generado por IA se vuelve más común en línea, aumenta el riesgo de que los modelos futuros se entrenen con información fabricada generada por modelos anteriores. Este fenómeno también se denomina colapso del modelo. Sin una gobernanza continua de los datos, el riesgo de resultados defectuosos de la IA no hace más que aumentar.
Hacer cumplir el acceso con privilegios mínimos para los sistemas de IA
Los sistemas impulsados por IA solo deben recibir los permisos que necesitan para realizar sus tareas. Esto podría parecer un sistema de inteligencia artificial al que solo se le permite leer archivos, no eliminarlos, incluso con recomendaciones ilusorias. Al restringir el acceso al privilegio mínimo, las organizaciones garantizan que los sistemas de IA no puedan tomar más medidas de las permitidas, incluso si generan orientación incorrecta.
Invertir en formación rápida en ingeniería
Dado que la producción de una IA depende en gran medida de la calidad de su entrada, las indicaciones ambiguas le dan al modelo la oportunidad de llenar los vacíos con suposiciones incorrectas, lo que aumenta el riesgo de alucinaciones. Las organizaciones deben priorizar la capacitación de los empleados, especialmente aquellos que interactúan directamente con los sistemas de inteligencia artificial, sobre cómo escribir indicaciones específicas que impulsen modelos y produzcan resultados verificables. Los empleados que entienden que los resultados de la IA siempre deben verificarse antes de su uso tienen menos probabilidades de interpretar los sistemas de IA como confiables por defecto.
Poner la seguridad de la identidad en el centro de la gobernanza de la IA
Las ilusiones de la IA se convierten en riesgos reales para la seguridad cuando conducen a la acción. No se trata principalmente de una cuestión de modelo, sino más bien de una cuestión de acceso. Los incidentes de seguridad ocurren cuando los sistemas de inteligencia artificial tienen suficiente acceso para actuar según una guía incorrecta, o cuando los humanos confían en sus resultados sin verificación. Keeper® está diseñado para brindar a las organizaciones la visibilidad y el control de acceso que necesitan para evitar el acceso no autorizado, incluso cuando las decisiones basadas en IA son incorrectas. Al imponer el acceso con privilegios mínimos, monitorear la actividad privilegiada y proteger las identidades humanas y no humanas (NHI), las organizaciones pueden reducir el riesgo de que las alucinaciones de la IA se conviertan en incidentes de seguridad dañinos.
Nota: Este artículo fue escrito cuidadosamente y contribuido por la redactora de contenido de Keeper Security, Ashley D’Andrea, para nuestros lectores.
Source link
