Las llamadas Slops de IA, que se refieren a imágenes, videos y texto de baja calidad generados por LLM, se han apoderado de Internet en los últimos años.
El mundo de la ciberseguridad tampoco se ve afectado por este problema. El año pasado, las personas en la industria de la ciberseguridad expresaron su preocupación por el informe de Bounty de AI Slop Bug. Esto significa informes que afirman que han encontrado una vulnerabilidad que no existe.
«La gente recibe informes que suenan razonablemente sólidos. Se ven técnicamente correctos. Y tratas de profundizar en ellos y entender:» No, ¿dónde está esta vulnerabilidad? »
«Resultó ser alucinación todo el tiempo. Los detalles técnicos estaban compuestos por LLM», dijo Ionescu.
Ionescu trabajó para el equipo rojo de Meta, una vez encargado de piratear la compañía desde adentro, pero explicó que uno de los problemas es que LLM está diseñado para ser útil y dar una respuesta positiva. «Si solicita informes, los proporciona, y las personas los copiarán y los pegarán en una plataforma de recompensa de errores, abruman la plataforma en sí, abruman a los clientes y terminan en esta situación frustrante», dijo Ionescu.
«Es un problema que la gente se encuentra. Hay muchas cosas que parecen oro, pero en realidad es solo basura», dijo Ionescu.
El año pasado hubo un ejemplo del mundo real de esto. El investigador de seguridad Harry Sintonen reveló que el proyecto de seguridad de código abierto Curl recibió un informe falso. «El atacante se calculó mal», escribió Sintnen en un Mastodon Post. «Carl puede oler la IA Slop desde millas de distancia».
En respuesta a la publicación de Sitonen, Benjamin Piouffle de Open Collective, una plataforma tecnológica para organizaciones sin fines de lucro, dijo que estaba presente el mismo problema. Sus bandejas de entrada están «llenas de agua con basura de IA».
Un desarrollador de código abierto que mantiene el proyecto Cyclonedx en GitHub sacó por completo la recompensa de errores a principios de este año después de recibir un «informe de SLOP casi completamente AI».
La principal plataforma de recompensa de errores, que esencialmente actúa como intermediarios entre los piratas informáticos y las empresas de Bug Bounty y las compañías dispuestas a pagar y recompensarlos para encontrar fallas en sus productos y software, también está viendo un aumento en los informes generados por la IA.
consulta
¿Puede encontrar más información sobre cómo la IA está afectando a la industria de la ciberseguridad? Esperamos tener noticias suyas. Desde dispositivos y redes sin procesar, puede contactar de manera segura a Lorenzo Franceschi-Bicchierai con una señal de +1 917 257 1382, a través de Telegram y KeyBase @LorenzofB, o por correo electrónico.
Michiel Prins, gerente de producto y director senior de Hackerone, le dijo a TechCrunch que la compañía había encontrado una pendiente de IA.
«También hemos visto un aumento en los falsos positivos. Hemos visto vulnerabilidades que parecen reales, pero son generadas por LLM y carecen de impacto real», dijo Prins. «Estas bajas presentaciones de señales pueden crear ruido que socava la eficiencia de su programa de seguridad».
Prins agregó que ha habido informes de que «las vulnerabilidades de hastización, el contenido técnico ambiguo u otras formas de ruido de bajo esfuerzo se tratan como spam».
Casey Ellis, fundadora de Bugcrowd, dijo que definitivamente hay investigadores que escriben informes utilizando IA para encontrar errores y enviarlos a la empresa. Ellis dijo el aumento general en 500 presentaciones por semana.
«Aunque la IA se usa ampliamente en la mayoría de las presentaciones, no ha causado un aumento significativo en los informes de ‘slop’ de baja calidad», dijo Ellis a TechCrunch. «Esto probablemente aumentará en el futuro, pero aún no está aquí».
Ellis dijo que el equipo de Bug Cliff que analiza las presentaciones utilizará libros de jugadas y flujos de trabajo establecidos para revisar manualmente los informes utilizando el aprendizaje automático y el «soporte» de IA.
Para ver si otras compañías, incluidas las compañías que ejecutan sus propios programas de recompensa de errores, están experimentando un mayor número de informes o informes inválidos que contienen vulnerabilidades inexistentes alucinadas por LLMS, TechCrunch contactó a Google, Meta, Microsoft y Mozilla.
El portavoz de Mozilla, Damiano Demonte, está desarrollando el navegador Firefox, pero la compañía dijo que «no hemos visto un aumento significativo en los informes de errores no válidos o de baja calidad que parecen estar generando IA».
Los empleados de Mozilla que revisan los informes de errores de Firefox no están utilizando AI para filtrar los informes. Es probable que esto sea difícil sin el riesgo de rechazar informes legítimos de errores «, dijo Demonte en un correo electrónico.
Microsoft y Meta, ambas compañías que apostaron por la IA, declinaron hacer comentarios. Google no respondió a las solicitudes de comentarios.
Ionescu predice que una solución al problema de aumento de la SLOP de IA es continuar invirtiendo en sistemas impulsados por la IA que al menos pueden realizar revisiones preliminares y filtrar los envíos de precisión.
De hecho, el martes, Hackerone lanzó Hai Triage, un nuevo sistema de tri y combinación de humanos y IA. Según el portavoz de Hackerone, Randy Walker, el nuevo sistema está aprovechando «los agentes de seguridad de IA cortan el ruido abierto, las banderas de apilamiento y priorizan las amenazas reales». Los analistas humanos luego validan el informe de errores y se intensifican según sea necesario.
A medida que los piratas informáticos usan cada vez más LLM y las empresas confían en la IA para transmitir sus informes, todavía no está claro qué dos AI ganan.
Source link
