Una trampa que Anthropic se ha construido.

El viernes por la tarde, justo cuando esta entrevista estaba por comenzar, apareció una alerta de noticias en la pantalla de mi computadora. La administración Trump cortaría lazos con Anthropic, una empresa de inteligencia artificial de San Francisco fundada en 2021 por Dario Amodei. El secretario de Defensa, Pete Hegseth, invocó la legislación de seguridad nacional para incluir a Anthropic en la lista negra para que no hiciera negocios con el Pentágono después de que Amodei se negara a utilizar la tecnología de Anthropic para la vigilancia masiva de ciudadanos estadounidenses o para drones armados autónomos que pueden seleccionar y matar objetivos sin intervención humana.

Fue una secuencia asombrosa. Anthropic podría perder hasta 200 millones de dólares en contratos y se le prohibiría trabajar con otros contratistas de defensa después de que el presidente Trump publicara en Truth Social instruyendo a las agencias federales a «cesar inmediatamente el uso de la tecnología Anthropic». (Antropic luego anunció que desafiaría al Pentágono en los tribunales).

Max Tegmark ha pasado la mayor parte de una década advirtiendo que la carrera por construir sistemas de IA cada vez más potentes está superando la capacidad del mundo para gestionarlos. El físico del Instituto Tecnológico de Massachusetts fundó el Future of Life Institute en 2014 y ayudó a escribir una carta abierta (finalmente firmada por más de 33.000 personas, incluido Elon Musk) pidiendo una moratoria sobre el desarrollo avanzado de IA.

Su visión de la crisis de la humanidad es implacable. La empresa, al igual que sus rivales, está sembrando las semillas de sus propios problemas. El argumento de Tegmark no comienza con el Pentágono, sino con una decisión tomada hace años: una opción compartida por toda la industria de resistirse a una regulación vinculante. Empresas como Anthropic, OpenAI y Google DeepMind han prometido durante mucho tiempo gobernarse a sí mismas de manera responsable. Esta semana, Anthropic incluso dio marcha atrás en un principio central de su promesa de seguridad: la promesa de no lanzar sistemas de inteligencia artificial cada vez más potentes hasta que esté seguro de que no causarán daño.

Ahora que no hay reglas, no hay muchas protecciones para estos jugadores, afirmó Tegmark. A continuación se muestran detalles de esa entrevista, editados para mayor extensión y claridad. Puede escuchar la conversación completa de esta semana en el podcast de descarga StrictlyVC de TechCrunch.

¿Cuál fue tu primer pensamiento al ver esta noticia sobre Anthropic?

El camino al infierno está empedrado de buenas intenciones. Es muy interesante mirar atrás hace 10 años. En ese momento, la gente estaba entusiasmada con la idea de cómo desarrollar inteligencia artificial para curar el cáncer, hacer que Estados Unidos fuera próspero y fuerte. Y aquí estamos, con el gobierno de EE.UU. furioso con esta empresa por no querer que su IA se utilice para la vigilancia masiva interna de los estadounidenses, y por no querer desplegar robots asesinos que puedan decidir de forma autónoma quién muere sin intervención humana.

Anthropic apuesta toda su identidad por ser una empresa de inteligencia artificial que prioriza la seguridad, pero también ha trabajado con agencias de defensa e inteligencia (desde al menos hasta 2024). ¿Crees que eso es contradictorio en absoluto?

Eso es contradictorio. Si podemos adoptar una visión ligeramente cínica de esto, entonces sí. Anthropic ha sido muy bueno anunciando que todo es cuestión de seguridad. Pero si realmente observa los hechos en lugar de las afirmaciones, verá que Anthropic, OpenAI, Google DeepMind y xAI tienen mucho que decir sobre cómo valoran la seguridad. No apoyamos normas de seguridad vinculantes como otras industrias. Y estas cuatro empresas han incumplido sus propias promesas. Primero fue Google. Este gran lema es «No seas malvado». Luego lo dejaron caer. Luego se retractaron de otra larga promesa de básicamente prometer no hacer daño con la IA. Dejaron de hacer eso para poder vender IA para vigilancia y armas. OpenAI ha eliminado la palabra seguridad de su declaración de misión. xAI cerró todo su equipo de seguridad. Y ahora, a principios de esta semana, Anthropic está dando marcha atrás en su compromiso de seguridad más importante: la promesa de no lanzar potentes sistemas de inteligencia artificial hasta que esté seguro de que no causarán daño.

¿Cómo llegó a esta posición una empresa con un compromiso tan notable con la seguridad?

Todas estas empresas, especialmente OpenAI y Google DeepMind, y hasta cierto punto también Anthropic, han presionado incansablemente contra la regulación de la IA, diciendo: «Confíen en nosotros, nos vamos a regular a nosotros mismos». Y presionaron con éxito. Actualmente, los sistemas de IA están menos regulados en Estados Unidos que los sándwiches. Si quieres abrir una tienda de sándwiches y el inspector de salud encuentra 15 ratas en la cocina, no te dejará vender sándwiches hasta que lo arregles. Pero si dices: «No te preocupes, no voy a vender sándwiches. Voy a vender novias IA a niños de 11 años, y se las ha relacionado con suicidios en el pasado. Y voy a exponer algo llamado una superagencia de inteligencia que podría derrocar al gobierno de Estados Unidos, pero tengo un buen presentimiento sobre el mío», el inspector tiene que decir: «Está bien, adelante, pero no vendas sándwiches».

Existen normas de seguridad alimentaria, pero no normas de IA.

Y siento que todas estas empresas realmente comparten la responsabilidad de esto. Porque si se hubieran unido y aceptado todas las promesas que se hicieron en ese momento sobre cómo mantenerse sanos y salvos, y hubieran ido al gobierno y hubieran dicho: «Acepten nuestra promesa voluntaria y conviértanla en una ley estadounidense que obligue incluso a nuestros competidores más descuidados», esto es lo que habría sucedido. Estamos en un completo vacío regulatorio. Y sabemos lo que sucede cuando a las empresas se les concede una amnistía total. Recibimos talidomida, las compañías tabacaleras venden cigarrillos a nuestros hijos, obtenemos asbesto, que causa cáncer de pulmón. Así que es un poco irónico que su propia resistencia a las leyes que dictan lo que pueden y no pueden hacer con la IA esté volviendo ahora en su contra.

Actualmente no existe ninguna ley que prohíba el desarrollo de IA para matar a estadounidenses, por lo que el gobierno podría presentar una solicitud repentina. Si las propias empresas se hubieran presentado antes y hubieran dicho: «Queremos esta ley», no estarían en esta situación. Realmente se pegaron un tiro en el pie.

El contraargumento corporativo siempre ha sido la competencia con China, y si las empresas estadounidenses no lo hacen, el gobierno chino lo hará. ¿Se sostiene ese argumento?

Analicémoslo. El tema de conversación más común entre los cabilderos de las empresas de IA (que ahora están mejor financiados y en inferioridad numérica que los de la industria de los combustibles fósiles, la industria farmacéutica y el complejo militar-industrial combinados) es que cada vez que alguien propone algún tipo de regulación, dicen: «Pero es China». Así que echémosle un vistazo. China está avanzando con una prohibición total de las novias IA. Además de las restricciones de edad, también se está considerando la prohibición de toda IA ​​antropomórfica. ¿por qué? No porque quieran complacer a Estados Unidos, sino porque sienten que esto está arruinando a la juventud de China y debilitando a China. Es evidente que la juventud estadounidense también se está debilitando.

Y cuando la gente dice que tenemos que correr para construir superinteligencia para vencer a China, cuando en realidad no sabemos cómo controlar la superinteligencia, por lo que el resultado predeterminado es que la humanidad pierda el control de la Tierra ante máquinas alienígenas, ¿qué piensas? Al Partido Comunista Chino realmente le gusta el control. ¿Quién en su sano juicio pensaría que Xi Jinping permitiría a las empresas chinas de inteligencia artificial desarrollar algo que derrocaría al gobierno chino? de ninguna manera. Obviamente, sería muy malo para el gobierno de Estados Unidos si fuera derrocado mediante un golpe de estado por parte de la primera empresa estadounidense que construyera una súper agencia de inteligencia. Esta es una amenaza a la seguridad nacional.

Este es un marco convincente. La superinteligencia no es un activo, sino una amenaza a la seguridad nacional. ¿Cree que esa opinión está ganando terreno en Washington?

Cuando la gente de la comunidad de seguridad nacional escuche a Dario Amodei explicar su visión (pronunció un famoso discurso en el que dijo que pronto habrá una nación de genios en los centros de datos) podrían empezar a pensar: «Espera, ¿Dalio acaba de usar la palabra ‘nación’?». Tal vez esa tierra de genios de los centros de datos debería estar en la misma lista de amenazas que estoy monitoreando. Eso suena amenazador para el gobierno de Estados Unidos. Y creo que muy pronto la gente de la comunidad de seguridad nacional de Estados Unidos se dará cuenta de que la superinteligencia fuera de control es una amenaza, no una herramienta. Esto es exactamente como la era de la Guerra Fría. Había competencia con la Unión Soviética por la supremacía económica y militar. Nosotros, los estadounidenses, ganamos esa competencia sin participar en una segunda competencia para ver quién podía colocar la mayor cantidad de cráteres nucleares en otras superpotencias. La gente se dio cuenta de que era sólo un suicidio. Nadie gana. La misma lógica se aplica aquí.

¿Qué significa todo esto para el ritmo más amplio de desarrollo de la IA? ¿Qué tan cerca crees que estamos del sistema que estás describiendo?

Hace seis años, casi todos los expertos en IA que conocía predijeron que una IA capaz de desarrollar un lenguaje y un conocimiento a nivel humano estaría a décadas de distancia, tal vez en 2040 o 2050. Todos estaban equivocados. Porque ya lo tenemos. En algunos campos, hemos visto que la IA progresa muy rápidamente desde el nivel de la escuela secundaria al nivel universitario, al nivel de doctorado y al nivel de profesor universitario. El año pasado, la IA ganó la medalla de oro en la Olimpiada Internacional de Matemáticas, una tarea tan difícil como la de los humanos. Hace apenas unos meses, escribí un artículo con Yoshua Bengio, Dan Hendrycks y otros destacados investigadores de IA que proporcionaban una definición rigurosa de AGI. Según esto, GPT-4 alcanzó el 27%. GPT-5 alcanzó el 57%. Así que aún no hemos llegado a ese punto, pero el aumento del 27% al 57% sugiere inmediatamente que podría no pasar tanto tiempo.

Cuando ayer di una conferencia a estudiantes en el MIT, dije que incluso si lleva cuatro años, cuando te gradúes, es posible que no puedas encontrar un trabajo. Ciertamente, nunca es demasiado pronto para empezar a prepararse.

Anthropic se encuentra actualmente en la lista negra. Tengo curiosidad por ver qué pasa después. ¿Los otros gigantes de la IA los respaldarán y dirán que no aceptaremos esto también? ¿O alguien como xAI levantará la mano y dirá que Anthropic no quería el contrato, lo aceptaremos? (Nota del editor: horas después de la entrevista, OpenAI anunció su propio contrato con el Departamento de Defensa).

Sam Altman salió anoche y dijo que apoya a Anthropic y que tiene la misma línea roja. Respeto su valentía al decir eso. Google no decía nada al comienzo de esta entrevista. Creo que sería muy vergonzoso para la empresa si simplemente permanecieran en silencio, y creo que muchos miembros de nuestro personal sentirían lo mismo. Tampoco he oído nada de xAI todavía. Será interesante verlo. Básicamente, todo el mundo tiene un momento en el que tiene que mostrar su verdadero yo.

¿Existe alguna versión que realmente dé mejores resultados?

Sí, es por eso que soy optimista de una manera extraña. Aquí hay una alternativa obvia. Si empezamos a tratar a las empresas de IA como a otras empresas, si eliminamos la amnistía corporativa, obviamente tendremos que hacer cosas como ensayos clínicos y demostrar a expertos independientes que sabemos cómo controlarla antes de lanzar algo tan poderoso. Entonces tendremos una era dorada con todas las grandes características de la IA sin ninguna ansiedad existencial. Ese no es el camino en el que estamos ahora. Pero tal vez sea así.