El ganador de Scott revela los peligros de la IA en su lucha para hacer una gran tecnología

Este no es el primer intento del ganador del senador de California Scott de abordar los peligros de la IA.

En 2024, Silicon Valley lanzó una feroz campaña contra SB 1047, el controvertido proyecto de ley de seguridad de IA. Los líderes tecnológicos advirtieron que frenarían el auge de la IA estadounidense. El gobernador Gavin Newsom finalmente rechazó el proyecto de ley, reflejando preocupaciones similares, y el popular Hackerhouse de IA rápidamente lanzó la «fiesta de veto SB 1047». Un asistente me dijo: «Gracias a Dios, todavía soy legal».

Wiener está de regreso con una nueva factura de seguridad de IA SB 53 en el escritorio del gobernador Newsom, esperando su firma o veto en las próximas semanas. Esta vez, el proyecto de ley es mucho más popular. Al menos, Silicon Valley no parece estar luchando contra eso.

La aprobación humana completa aprobó SB 53 a principios de este mes. El portavoz de Meta, Jim Cullinan, le dijo a TechCrunch que la compañía apoya las regulaciones de IA que equilibran las barandillas e innovación: «SB 53 es un paso en esa dirección», pero hay un área de mejora.

Deanball, un ex asesor de políticas de IA de la Casa Blanca, le dijo a TechCrunch que SB 53 es una «victoria por una voz razonable», y cree que es probable que el gobernador News Mom lo firme.

SB 53 impone algunos de los primeros requisitos de informes de seguridad del país a los gigantes de IA como OpenAI, Anthrope, XAI y Google. Muchos laboratorios de IA publican voluntariamente informes de seguridad que explican cómo usar modelos de IA para crear capas biológicas y otros peligros, pero lo hacen libremente y no siempre son consistentes.

El proyecto de ley requiere los principales laboratorios de IA, particularmente aquellos que generan ingresos de más de $ 500 millones, para publicar informes de seguridad para los modelos de IA más capaces. Al igual que SB 1047, el proyecto de ley se centra específicamente en el peor tipo de riesgos de IA: muerte humana, ataques cibernéticos y la capacidad de contribuir a las armas químicas. El gobernador Newsom está considerando varios otros proyectos de ley que abordan otros tipos de riesgos de IA, como la tecnología de optimización de participación de IA.

SB 53 establece CalCompute, un clúster nacional de computación en la nube operacional, para crear canales protegidos para los empleados que trabajan en AI Labs, informan preocupaciones de seguridad a los funcionarios del gobierno y proporcionan recursos de investigación de IA más allá de las principales empresas de alta tecnología.

Una razón por la cual el SB 53 es más popular que el SB 1047 es que no es tan grave. SB 1047 también responsabilizó a las compañías de IA responsables del daño causado por el modelo AI, mientras que SB 53 se centra en requerir autoinforme y transparencia. SB 53 es estrechamente aplicable a las nuevas empresas sino a las compañías de alta tecnología más grandes del mundo.

Pero muchos en la industria tecnológica todavía creen que los estados deberían dejar la regulación de la IA al gobierno federal. En una carta reciente al gobernador Newsom, OpenAi argumentó que los laboratorios de IA solo deberían cumplir con los estándares federales. Es interesante decirle al gobernador. La empresa de riesgo Andreessen Horowitz ha escrito una reciente publicación de blog que sugiere vagamente que varios proyectos de ley de California podrían violar las disposiciones comerciales inactivas de la Constitución.

El senador Wiener está abordando estas preocupaciones. Carece de fe federal al pasar regulaciones significativas de seguridad de IA, lo que significa que los estados deben intensificar. De hecho, Wiener cree que la administración Trump está siendo capturada por la industria tecnológica y que los recientes esfuerzos federales para bloquear las leyes de IA en todos los estados tienen la forma de «recompensar a sus financiadores» de Trump.

La administración Trump ha realizado una transición destacada del enfoque de la administración Biden en la seguridad de la IA, con un enfoque en el crecimiento. Poco después de asumir el cargo, el vicepresidente JD Vance apareció en una conferencia de IA en París, diciendo: «No estoy aquí esta mañana para hablar sobre la seguridad de la IA, el título de la conferencia hace varios años. Hablaré sobre oportunidades de IA».

Silicon Valley elogió este cambio, ilustrado por el plan de acción de AI de Trump. Esto eliminó las barreras para construir la infraestructura necesaria para entrenar y servir modelos de IA. Hoy, los CEO de Big Tech miran regularmente mientras cenan en la Casa Blanca o anuncian un centro de datos de $ 10 mil millones junto con el presidente Trump.

El senador Wiener cree que es importante que California lidere la nación en seguridad de IA, pero no asfixia la innovación.

Recientemente entrevisté al senador Wiener para discutir sus años en la mesa de negociación con Silicon Valley y por qué está enfocado en los proyectos de ley de seguridad de la IA. Nuestras conversaciones se editan ligeramente para mayor claridad y brevedad.

Te entrevisté como el senador Wiener, SB 1047, se sentó en el escritorio Newsom Gonder Newsom. Háblame sobre el viaje que has estado haciendo para regular la seguridad de la IA en los últimos años.

Es una montaña rusa, una experiencia de aprendizaje increíble y verdaderamente gratificante. No solo en California, sino también en el discurso nacional e internacional, este problema se ha planteado (en seguridad de IA).

Tenemos esta nueva tecnología increíblemente poderosa que está cambiando el mundo. ¿Cómo se asegura de que beneficie a la humanidad de manera que reduzca el riesgo? ¿Cómo promueve la innovación mientras es extremadamente cuidadoso con la salud pública y la seguridad pública? Es una conversación importante y, en cierto modo, sobre el futuro. SB 1047, y ahora SB 53, han ayudado a promover conversaciones sobre innovación segura.

¿Qué ha aprendido en los últimos 20 años de tecnología sobre la importancia de las leyes que pueden explicar Silicon Valley?

Soy el más representativo de San Francisco. Rápidamente estoy al norte de Silicon Valley, así que estamos en medio de todo. Pero también hemos visto cómo algunas de las empresas más ricas en la historia del mundo están haciendo lo que las grandes empresas tecnológicas han podido detener las regulaciones federales.

Cada vez que veo a un CEO de alta tecnología cenando en la Casa Blanca con un ávido dictador fascista, tengo que respirar profundamente. Todas estas son personas realmente increíbles que han creado una enorme riqueza. Muchas de las personas que represento trabajan para ellos. Es realmente doloroso ver que los acuerdos son golpeados en Arabia Saudita y los Emiratos Árabes Unidos y cómo ese dinero llama la atención sobre las monedas de memes de Trump. Eso me plantea profundamente preocupación.

No soy una persona anti-técnica. Quiero ver que ocurra la innovación tecnológica. Eso es muy importante. Pero esta es una industria en la que no debemos confiar en nosotros mismos para regular o hacer compromisos voluntarios. Y eso no es engañar a nadie. Esto es el capitalismo y puede crear una enorme prosperidad, pero puede causar daño si no hay una regulación sabia para proteger el interés público. En cuanto a la seguridad de la IA, estamos tratando de convertir esa aguja en un hilo.

SB 53 se centra en el peor daño que la IA puede causar imaginativamente: muerte, ataques cibernéticos masivos y la creación de la era de la biología. ¿Por qué concentrarse allí?

Los riesgos de AI varían. Hay discriminación algorítmica, desempleo, falsificaciones profundas y fraude. Ha habido varios proyectos de ley en California y en otros lugares para abordar estos riesgos. El SB 53 no tenía la intención de cubrir el campo y abordar todos los riesgos creados por AI. Se centra en los riesgos en particular y las categorías específicas, desde una perspectiva de riesgo catastrófico.

Ese problema provino orgánicamente de personas en el espacio de IA en San Francisco: fundadores de inicio, técnicos de IA de primera línea y aquellos que construyen estos modelos. Vinieron a mí y me dijeron: «Este es un problema que debe abordarse de manera reflexiva».

¿Los sistemas de IA se sienten inherentemente inseguros o pueden causar la muerte y los ataques cibernéticos masivos?

No creo que sean inherentemente seguros. Sé que hay muchas personas en estos laboratorios que están muy profundamente interesadas en tratar de mitigar el riesgo. Y de nuevo, eso no es para descartar el riesgo. La vida se trata de riesgo. A menos que viva en un sótano y nunca se vaya, tomará riesgos en su vida. Incluso en su sótano, el techo puede caer.

¿Existe el riesgo de usar algunos modelos de IA para hacer un gran daño a la sociedad? Sí, y sé que hay personas que quieren hacer eso. Deberíamos tratar de dificultar que los malos actores causen estos daños graves, y también las personas que desarrollan estos modelos.

La humanidad emitió apoyo para SB 53. ¿Qué hay de las conversaciones con jugadores en otras industrias?

Hablamos con todos, incluidas grandes empresas, pequeñas nuevas empresas, inversores, académicos. La humanidad era realmente constructiva. El año pasado nunca fueron apoyados oficialmente (SB 1047), pero decían cosas positivas sobre aspectos del proyecto de ley. No creo que (de la humanidad) ame todos los aspectos de SB 53, pero creo que han concluido que vale la pena apoyar el proyecto de ley.

He hablado con un gran laboratorio de IA que no está en la guerra, como SB 1047. No es sorprendente. SB 1047 es un proyecto de ley de responsabilidad civil, y SB 53 es un proyecto de ley más transparente. El proyecto de ley realmente se centra en las grandes empresas, por lo que las nuevas empresas no están involucradas este año.

¿Sientes la presión del enorme AI PAC que se ha formado en los últimos meses?

Este es otro síntoma de Citizens United. Las empresas más ricas del mundo pueden verter recursos interminables en estos PAC e intentar chantajear a los funcionarios electos. Según las reglas que tenemos, tienen todos los derechos para hacerlo. Realmente nunca ha afectado la forma en que abordamos las políticas. Mientras estuviera en el cargo elegido, había grupos tratando de destruirme. Millones de grupos diferentes han pasado tratando de volarme. Estoy tratando de hacerlo bien con mis constituyentes en esto y hacer de mi comunidad, San Francisco y el mundo un lugar mejor.

¿Cuál es su mensaje al gobernador Newsom mientras discute si firmar o rechazar este proyecto de ley?

Mi mensaje es que te hemos escuchado. Rechazó SB 1047 y proporcionó un mensaje de rechazo muy completo y reflexivo. Ha convocado sabiamente un grupo de trabajo que ha producido un informe muy fuerte. Realmente vimos este informe en este informe. El gobernador estableció el camino y esperamos haber seguido ese camino y llegar a un acuerdo y hemos llegado allí.