Los investigadores de seguridad de IA de OpenAI, la humanidad y otras organizaciones han hecho comentarios públicos sobre la cultura de seguridad «imprudente» y «completamente irresponsable» de Xai, una startup de IA de mil millones de dólares propiedad de Elon Musk.
La crítica sigue un escándalo de una semana en Xai que enmascaró los avances tecnológicos de la compañía.
La semana pasada, el AI Chatbot Grok de la compañía arrojó comentarios antisemitas, llamándolos repetidamente «Mechahitler». Poco después de que Xai salió del chatbot fuera de línea para abordar el problema, lanzó el Grok 4, un modelo de IA fronteriza cada vez más capaz. En el último desarrollo, Xai ha lanzado un compañero de IA en forma de niñas de anime hipersexualizadas y un panda demasiado agresivo.
Si bien el empuje amistoso entre los empleados de AI Labs en competencia es bastante normal, estos investigadores parecen estar pidiendo atención a las prácticas de seguridad de Xai, alegando que están en desacuerdo con las normas de la industria.
«Trabajo para un competidor y no quería publicar sobre la seguridad de Gloke, pero no se trata de competencia», dijo Boaz Barak, profesor de informática que actualmente está de baja de la Universidad de Harvard, en un puesto de martes en X.
Barak tiene problemas con la decisión de Xai de no revelar la tarjeta del sistema. Los estándares de la industria informan métodos de capacitación en profundidad y evaluaciones de seguridad de esfuerzos honestos para compartir información con la comunidad de investigación. Como resultado, Barak dice que se desconoce que se realizó el entrenamiento de seguridad en el Grok 4.
Operai y Google tienen una reputación desigual para compartir rápidamente tarjetas del sistema cuando se trata de lanzar nuevos modelos de IA. Operai ha decidido no revelar sus tarjetas del sistema GPT-4.1. Afirma que este no es un modelo fronterizo. Mientras tanto, Google publicó un informe de seguridad unos meses después de su publicación de su Gemini 2.5 Pro. Sin embargo, estas compañías han publicado históricamente informes de seguridad para todos los modelos de IA fronterizos antes de ingresar a la producción completa.
Eventos de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Barak también afirma que los compañeros de IA de Grok «toman los peores problemas que tienen actualmente con dependencias emocionales e intentan amplificarlas». En los últimos años, he visto innumerables historias de personas inestables sobre su relación con los chatbots.
Samuel Marks, un investigador de seguridad humana, llama a la medida «imprudente», con problemas con la decisión de Xai de no publicar su informe de seguridad.
«Hay problemas con las prácticas de lanzamiento de Humanity, Openai y Google», escribió Marks en la publicación de X.
La realidad es que realmente no sé qué hizo Xai para probar el Grok 4. En una publicación ampliamente compartida en el foro en línea, Lesswrong, afirma que Grok 4 no tiene barandillas de seguridad significativas basadas en pruebas.
Ya sea cierto o no, el mundo parece saber sobre las deficiencias en tiempo real de Glock. Desde entonces, algunos de los problemas de seguridad de XAI se han convertido en virus, y la compañía afirma que los ha abordado con los ajustes a las indicaciones del sistema de Grok.
Openai, Anthrope y Xai no respondieron a la solicitud de comentarios de TechCrunch.
Dan Hendrycks, asesor de seguridad de XAI y director del Centro de Seguridad AI, publicó en X que había realizado una «evaluación de habilidades peligrosas» en Grok 4. Sin embargo, los resultados de estas evaluaciones no se han publicado.
«Me preocupa si las prácticas de seguridad estándar no son compatibles en toda la industria de la IA, como publicar los resultados de evaluaciones de capacidades peligrosas», dijo Steven Adler, un investigador independiente de IA que anteriormente dirigió el equipo de seguridad de OpenAI, en un comunicado de TechCrunch. «El gobierno y el público merecen saber cómo las empresas de IA manejan los riesgos de los sistemas muy poderosos que dicen que están construyendo».
Lo interesante de las prácticas de seguridad cuestionables de XAI es que Musk ha sido durante mucho tiempo uno de los defensores más notables en la industria de seguridad de la IA. Los líderes multimillonario de Xai, Tesla y SpaceX han advertido muchas veces sobre la posibilidad de que los sistemas de IA avanzados puedan tener consecuencias humanas catastróficas y elogiaron su enfoque abierto para desarrollar modelos de IA.
Aún así, los investigadores de IA de la competencia Labs afirman que Xai se dirige desde las normas de la industria donde los modelos de IA están lanzando de manera segura. Al hacerlo, las nuevas empresas de máscaras pueden estar haciendo un reclamo falso y fuerte por parte de los legisladores estatales y federales para establecer reglas con respecto a la publicación de los informes de seguridad de la IA.
A nivel estatal, hay varios intentos de hacerlo. Mientras que el senador de California Scott Wiener está presionando por un proyecto de ley que exige a los principales laboratorios de IA que podrían incluir a XAI para publicar informes de seguridad, la gobernadora de Nueva York, Kathy Hochul, está considerando un proyecto de ley similar. Los partidarios de estas facturas están prestando atención a la mayoría de los laboratorios de IA publican este tipo de información de todos modos, pero obviamente no todos lo hacen de manera consistente.
Los modelos de IA de hoy todavía no muestran escenarios del mundo real que puedan dañar realmente devastadoramente, como las muertes de personas o miles de millones de dólares de daños. Sin embargo, muchos investigadores de IA dicen que esto podría convertirse en un problema en el futuro cercano dados los rápidos avances en los modelos de IA, con miles de millones de dólares que invierten en mejorar aún más la IA.
Pero incluso los escépticos de un escenario tan catastrófico tienen un caso fuerte que sugiere que la mala conducta de Grok exacerbará significativamente los productos de hoy.
Grok difundió el antisemitismo en la plataforma X esta semana, solo semanas después de que Chatbot anunció repetidamente su «genocidio blanco» en conversaciones con los usuarios. La máscara muestra que Grok se está filtrando en vehículos Tesla, con Xai buscando vender el modelo AI al Pentágono y otras compañías. Es difícil imaginar que los museos, los trabajadores federales que protegen a los Estados Unidos o los empleados de empresas que automatizan tareas pueden aceptar a estos estafadores más de los usuarios de X.
Varios investigadores argumentan que las pruebas de seguridad y alineación de la IA no solo aseguran que los peores resultados no ocurran, sino que también asegura que proteja contra los problemas de comportamiento a corto plazo.
Por lo menos, el caso de Grok tiende a eclipsar los rápidos avances de Xai en el desarrollo de modelos de IA fronteriza, donde la tecnología de OpenAi y Google ha sido mejor en uno, solo unos años después de que se estableció el inicio.
Source link
