Durante meses, el gigante de la inteligencia artificial ha ideado programas especiales examinados y estrictas barreras de seguridad para limitar el uso de sus modelos por parte de piratas informáticos malintencionados. Sin embargo, estas limitaciones actualmente impiden el trabajo de los investigadores de ciberseguridad ofensiva, así como de los defensores legítimos de la red.
En junio, el gobierno de Estados Unidos impuso restricciones de control de exportaciones a los muy promocionados modelos de inteligencia artificial de Anthropic, Mythos y Fable. La medida fue impulsada, al menos en parte, por un informe que afirmaba que era posible eludir las barreras de seguridad del modelo diseñadas para evitar que los usuarios utilicen el modelo para construir y ejecutar ciberataques maliciosos.
Independientemente de si este incidente fue realmente motivado por el miedo al jailbreak, el hecho es que Anthropic ha promovido repetidamente a Mythos como una especie de cibermáquina apocalíptica que sólo puede estar disponible para usuarios cuidadosamente examinados y con estrictas barreras de seguridad. (Desde entonces se han levantado las restricciones a la exportación de Fable 5 y Mythos 5. Fable 5 volvió al acceso público el 1 de julio. Mythos 5 solo se volvió a presentar a organizaciones estadounidenses examinadas como parte de un proceso de revisión gubernamental).
Este tipo de control no es exclusivo de Mythos. Anthropic and Other Models y OpenAI ofrecen programas que brindan a los investigadores de ciberseguridad acceso a modelos con menos restricciones de ciberseguridad si se examinan y aprueban: el programa Trusted Access for Cyber de OpenAI y el Cyber Verification Program de Anthropic.
Estas barreras de seguridad han sido ampliamente criticadas, especialmente por investigadores cuyo trabajo es descubrir vulnerabilidades desconocidas en los sistemas e idear formas de explotarlas antes de que los delincuentes puedan atacarlas.
Mark Dowd, un destacado investigador de seguridad, dijo en una aparición reciente en un podcast de ciberseguridad que «no me siento muy cómodo con estas grandes empresas aleatorias que toman decisiones arbitrarias sobre lo que es seguro y lo que no».
Durante décadas, Dowd ha estado descubriendo «días cero» (fallos y exploits de software previamente desconocidos) y vendiéndolos a gobiernos occidentales en lugar de informarlos a los fabricantes de software para que los parcheen. Los gobiernos pagan una prima por las vulnerabilidades porque las vulnerabilidades que sirven a las operaciones de inteligencia permanecen abiertas.
Dowd reconoció que su trabajo puede generar prejuicios, pero no está solo. Varias personas involucradas en ciberseguridad ofensiva, que investigan activamente los sistemas en busca de debilidades, explicaron a TechCrunch cómo utilizan las herramientas de inteligencia artificial y abordan las barreras de seguridad.
Chris Unley, científico principal del gigante consultor de seguridad NCC Group, dijo que intentar explotar errores en los modelos de IA es un paso importante para confirmar que son vulnerabilidades reales que vale la pena solucionar. Pero las barreras de seguridad pueden perjudicar a los defensores si hacen que el modelo se niegue a responder preguntas en su totalidad, afirmó.
«Aquí es donde toda la parte de ataque, defensa y barreras de seguridad se vuelve importante, porque el mensaje ‘Corregir este código’ no solo es un mecanismo esencial para la defensa, sino que también es una hoja de ruta para descubrir vulnerabilidades críticas en su base de código», dijo Anley. «Así que la misma herramienta es a la vez una herramienta ofensiva y una herramienta defensiva, y realmente no se puede elegir entre las dos».
Es «como un martillo», continuó. «No se puede construir una casa sin un martillo. Un martillo es definitivamente una herramienta, pero también es un arma».
Cuando él y sus colegas encuentran tales obstáculos, a menudo recurren a modelos de IA de código abierto que no tienen barreras de seguridad.
Paolo Stagno, director de tecnología de Cloudfence, una conocida empresa que desarrolla, adquiere y vende vulnerabilidades desconocidas a agencias gubernamentales, estuvo de acuerdo con Dowd y dijo que con programas examinados y barreras de seguridad, las empresas de inteligencia artificial están «básicamente tratando a sus clientes como niños que necesitan que los cuiden».
Stagno dijo que él y sus colegas utilizan el modelo Frontier, pero sólo para ingeniería inversa. Dijo que evitan el uso de la IA para encontrar vulnerabilidades o crear exploits. Al ingresar ese trabajo en un modelo basado en la nube se corre el riesgo de exponer datos confidenciales de vulnerabilidad o absorberlos en futuras ejecuciones de capacitación. Dijo que ese paso utiliza un modelo de código abierto que se ejecuta localmente porque no depende del intercambio de datos fuera del modelo.
Giuseppe Cali, un investigador de seguridad que descubre los días cero y desarrolla exploits, dijo que las barreras de seguridad no han obstaculizado su trabajo. Eso es porque no usa IA para trabajo ofensivo. En lugar de ello, lo utilizamos para la ingeniería inversa inicial, para comprender el código que estamos analizando y crear herramientas de soporte. Con ese fin, dijo, las herramientas de inteligencia artificial aceleran el proceso y les permiten concentrarse en encontrar vulnerabilidades.
«Todavía quiero hacer yo mismo el descubrimiento de errores y el uso de armas, e incluso si se levantaran todas las barreras mañana, eso no cambiaría», dijo Cali. «Estoy celoso de mis insectos, pero amo demasiado este juego como para que un modelo lo juegue».
Un investigador de un fabricante de repuestos para teléfonos inteligentes, que habló bajo condición de anonimato porque no estaba autorizado a hablar con la prensa, dijo que su empleador no forma parte del programa CVP de Anthropic, por lo que las barreras de seguridad son demasiado estrictas y la herramienta es de poca utilidad para encontrar vulnerabilidades.
«Cuando sopla el viento, hacemos cosas relacionadas con la seguridad, pero el viento se detiene y no podemos usarlo», dijo el funcionario.
Chris Thompson, director ejecutivo de la empresa de ciberseguridad RemoteThreat y fundador de Offensive AI Con, un evento centrado en la seguridad ofensiva y la IA, dijo que, según su experiencia con modelos de IA fronterizos, las barreras de seguridad son inconsistentes y pueden comportarse de manera diferente cada día. Esto es cierto incluso dentro de los límites más amplios de los programas examinados de Anthropic y OpenAI.
«Creo que el impacto práctico es que se pasa mucho tiempo negociando con modelos en lugar de trabajar en su programa de seguridad central», afirma Thompson. «En lugar de analizar las vulnerabilidades y razonar a través de la explotabilidad, estamos tratando de descubrir por qué estamos obteniendo resultados inconsistentes o por qué el modelo desinfecta demasiado la salida».
Como resultado, los investigadores dependen o son impulsados por modelos chinos de código abierto como GLM, que son modelos descargables gratuitamente que se pueden ejecutar localmente sin restricciones de revisión o uso, dijo Thompson.
«Los investigadores responsables están siendo expulsados de los sistemas del gobierno estadounidense y trasladados a sistemas de propiedad extranjera», afirmó. «Creo que poner estas barandillas hará más daño que bien».
Thompson pidió al AI Frontier Institute que haga públicos sus programas, proporcione acceso responsable y responsabilice a quienes abusan de sus herramientas, en lugar de endurecer aún más las regulaciones. De lo contrario, argumentó, los defensores perderán la carrera de la IA.
«Se avecina una gran tormenta. Habrá una gran ola de ataques a una velocidad y escala que nunca antes habíamos visto», dijo Thompson. «Pero esas mismas empresas consultoras de seguridad e investigadores legítimos que intentan marcar la diferencia ahora están siendo reprimidos».
Si compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta la independencia editorial.
Source link
