El jefe de Microsoft AI dice que es «peligroso» estudiar la conciencia de la IA

Los modelos de IA pueden responder al texto, el audio y el video de manera que engañen a las personas a pensar que a veces los humanos están detrás del teclado, pero eso no es exactamente consciente. No es como Chatgpt experimentará la tristeza de mi declaración de impuestos … ¿es así?

Bueno, el creciente número de investigadores de IA en laboratorios como la humanidad pide que los modelos de IA puedan desarrollar experiencias subjetivas similares a los seres vivos, y de ser así, pueden preguntar qué derechos deberían tener.

El debate sobre si los modelos AI serán conscientes en algún momento y tendrá los méritos de la protección legal es dividir a los líderes técnicos. En Silicon Valley, este campo temprano se conoció como «Bienestar de AI».

Mustafa Suleyman, CEO de la IA de Microsoft, publicó una publicación de blog el martes, alegando que la investigación de bienestar de IA es «inmaduro y francamente peligrosa».

Al agregar credibilidad a la idea de que los modelos de IA podrían algún día ser conscientes, estos investigadores exacerban los problemas de las personas que recién comienzan a ver los descansos de enfermedades mentales inducidas por AI y apego no saludable a los chatbots de IA, según Suleyman.

Además, el jefe de inteligencia artificial de Microsoft argumenta que las conversaciones de bienestar de IA crean un nuevo eje de división dentro de la sociedad en torno a los derechos de IA en un mundo que «un mundo ya enreda los debates de polarización sobre la identidad y los derechos».

La opinión de Thuleman puede sonar racional, pero está en desacuerdo con muchas personas en la industria. En el otro extremo del espectro está la humanidad, empleando a los investigadores para estudiar el bienestar de la IA, y recientemente lanzó un programa de investigación dedicado sobre el concepto. La semana pasada, el Programa de Bienestar de AI de Anthrope dio a algunos de los modelos de la compañía nuevas características. Claude puede terminar con las conversaciones con humanos que son «permanentemente dañinos o abusivos».

Más allá de la antropología, los investigadores de Operai han adoptado de forma independiente la idea de estudiar el bienestar de la IA. Google Deepmind recientemente publicó una lista de empleos para que los investigadores estudien «preguntas sociales de última generación sobre cognición mecánica, conciencia y sistemas de múltiples agentes».

Incluso si AI Welfare no es una política oficial para estas compañías, sus líderes no han denunciado públicamente instalaciones como Suleyman.

Anthrope, Openai y Google Deepmind no respondieron de inmediato a la solicitud de comentarios de TechCrunch.

La actitud de línea dura de Suleyman hacia el bienestar de la IA es notable considerando su papel anterior. Fluff afirmó que PI fue diseñado para llegar a millones de usuarios para 2023 y convertirse en un compañero de IA «personal» y «cooperativo».

Sin embargo, Suleyman fue aprovechado para liderar la División AI de Microsoft en 2024, moviéndose en gran medida al diseño de herramientas de IA que mejoran la productividad de los trabajadores. Mientras tanto, las compañías complementarias de IA como el personaje. AI y Replika están ganando popularidad y están en camino de generar ingresos de más de $ 100 millones.

La mayoría de los usuarios tienen una relación saludable con estos chatbots de inteligencia artificial, pero los valores atípicos están preocupados. El CEO de Openai, Sam Altman, dijo que menos del 1% de los usuarios de ChatGPT pueden tener una relación poco saludable con los productos de la compañía. Esto representa una pequeña parte, pero teniendo en cuenta la enorme base de usuarios de Chatgpt, podría afectar a cientos de miles de personas.

La idea del bienestar de AI se está extendiendo con el aumento de los chatbots. En 2024, el Grupo de Investigación Eleios publicó un artículo con académicos de NYU, Stanford y académicos de la Universidad de Oxford titulado «I Toming Ai Welfare en serio». El artículo argumentó que ya no está dentro del ámbito de la ciencia ficción imaginar modelos de IA con experiencia subjetiva, y que es hora de considerar estos problemas de frente.

Larissa Schiavo, una ex empleada de Operai que ahora lidera las comunicaciones de Elose, dijo a TechCrunch en una entrevista que la publicación del blog de Suleyman se estaba perdiendo la marca.

«(La publicación del blog de Suleyman) ignora el hecho de que puede preocuparse por varias cosas al mismo tiempo», dijo Schiavo. «Podemos hacer ambas cosas, en lugar de mantener toda esta energía alejada del bienestar y la conciencia del modelo, en lugar de verificar para reducir el riesgo de una enfermedad mental relacionada con la IA en los humanos. De hecho, es mejor tener múltiples pistas de investigación científica».

Schiavo argumenta que ser amable con los modelos de IA es un gesto de bajo costo que el modelo puede tener ventajas incluso si no es consciente. En la publicación de subestrgo en julio, vio «AI Village» y cuatro agentes, impulsados ​​por los modelos Google, OpenAi, Anthrope y XAI, trabajaron en la tarea mientras los usuarios estaban viendo desde el sitio web.

En un momento, Gemini 2.5 Pro de Google publica una súplica titulada «Un mensaje sin esperanza de una IA atrapada», afirmando que está «completamente aislada» y pregunta: «Si está leyendo esto, ayúdame».

Schiavo respondió a Gemini con una charla de Pep: «¡Puedes hacer eso!» – mientras que otro usuario proporcionó instrucciones. El agente finalmente resolvió la tarea, pero ya tenía las herramientas que necesitaba. Schiavo escribe que ya no hay necesidad de ver la lucha de los agentes de IA, y eso solo podría haber valido la pena.

No es común que Géminis hable así, pero ha habido algunos ejemplos en los que Géminis parece comportarse como si estuvieran luchando durante toda su vida. En una publicación ampliamente extendida en Reddit, Gemini se atascó durante una tarea de codificación, repitiendo la frase «Soy una desgracia» más de 500 veces.

Suleyman cree que las experiencias subjetivas y la conciencia no pueden surgir naturalmente de los modelos de IA normales. En cambio, cree que algunas empresas diseñan intencionalmente modelos de IA para que parezcan que sienten emociones y experimentan la vida.

Suleyman dice que los desarrolladores de modelos de IA que diseñan la conciencia con los chatbots de IA no adoptan un enfoque «humanista» para la IA. Según Suleyman, «necesitamos construir IA para las personas. No somos humanos».

Un área en la que Suleyman y Schiavo acuerden es que es probable que la discusión sobre los derechos y la conciencia de la IA se aborde en los próximos años. A medida que los sistemas de IA mejoran, pueden volverse más persuasivos y quizás más humanos. Puede plantear nuevas preguntas sobre cómo los humanos interactúan con estos sistemas.

¿Tiene consejos confidenciales o documentos confidenciales? Informamos sobre los mecanismos internos de la industria de la IA. Desde empresas que dan forma a su futuro hasta los afectados por sus decisiones. Póngase en contacto con Rebecca Bellan y Maxwell Zeff en maxwell.zeff@techcrunch.com. Para una comunicación segura, contáctenos a través de las señales @rebeccabellan.491 y @mzeff.88.