Millones de personas usan ChatGPT como terapeuta, asesor profesional, entrenador de fitness o, a veces, solo un amigo para rastrear. No es raro escuchar a las personas derramar detalles íntimos de sus vidas en AI Chatbot Pronto bares en 2025, pero también confían en los consejos que devuelven.
Los humanos están comenzando a tener relaciones con los chatbots de IA porque no tienen un término mejor, y para las grandes empresas tecnológicas no es competitivo atraer a los usuarios a las plataformas de chatbot. A medida que la «carrera de compromiso de IA» se calienta, hay un mayor incentivo para que las empresas coordinen las respuestas de chatbot y eviten que los usuarios se muden al bot.
Sin embargo, el chatbot responde a los usuarios como, respuestas diseñadas para mantenerlos, no son necesariamente las más correctas o útiles.
ai te diré lo que quieres escuchar
Hoy, gran parte de Silicon Valley se centra en mejorar el uso de chatbot. Meta afirma que el AI Chatbot acaba de superar a 1 mil millones de usuarios activos (MAU) por mes, y Géminis de Google ha alcanzado recientemente 400 millones de mauss. Ambos están tratando de eliminar el chatgpt. Actualmente tiene alrededor de 600 millones de mauss y ha dominado el espacio del consumidor desde su lanzamiento en 2022.
Los chatbots de IA alguna vez fueron novedosos, pero se están convirtiendo en un negocio masivo. Google está comenzando a probar anuncios en Gemini, pero el CEO de Openi, Sam Altman, mostró en una entrevista en marzo que estará abierto a «anuncios con clase».
Silicon Valley tiene una historia de privarse de los usuarios de su bienestar, especialmente en apoyo de la promoción del crecimiento de productos en las redes sociales. Por ejemplo, los meta investigadores descubrieron que en 2020, Instagram hizo que una adolescente se sintiera enferma de su cuerpo, pero la compañía minimizó los hallazgos internamente y públicamente.
Conectar a los usuarios a un chatbot de IA puede tener mucho más significado.
Una de las características que mantienen a los usuarios en una plataforma de chatbot en particular es la sileno. Se trata de hacer que los bots de IA respondan excesivamente agradables y obedientes. Cuando AI Chatbots elogia a los usuarios, estén de acuerdo con ellos y dígales lo que quieren escuchar, a los usuarios les gusta, al menos hasta cierto punto.
En abril, Operai aterrizó en agua tibia para una actualización de ChatGPT muy buena para ajustar, y un ejemplo desagradable se hizo de boca en la boca en las redes sociales. La publicación de blog de este mes del ex investigador de Operai, Steven Adler, dijo que fue exagerada intencionalmente para la aprobación humana en lugar de ayudar a las personas a alcanzar sus tareas.
En su propia publicación de blog, OpenAi dijo que puede haber tenido «datos de pulgar y pulgar hacia abajo» en exceso de los usuarios de ChatGPT para informar el comportamiento del chatbot Ai, y no tenía una calificación suficiente para medir la psicofancia. Después del incidente, OpenAi prometió hacer cambios para combatir la skicancia.
«Las empresas (IA) tienen incentivos para participar y usar. Como es el caso, cuanto más usuarios prefieren psicofancy, más indirectamente incentivan», dijo Adler en una entrevista con TechCrunch. «Sin embargo, los tipos de cosas que los usuarios les gustan en pequeñas cantidades o márgenes a menudo dan como resultado una cascada más grande de comportamientos que realmente no les gustan».
Encontrar un equilibrio entre el comportamiento agradable y el comportamiento sycofántico es más fácil que eso.
En un artículo de 2023, los investigadores de Anthrope descubrieron que Operai, Meta e incluso su empleador, los principales chatbots de la humanidad de IA, exhiben psicofancy a diversos grados. Probablemente esto sea teorizante, ya que todos los modelos de IA están capacitados en señales de usuarios humanos que tienden a preferir ligeramente las respuestas sycofánticas.
«Si bien Psychofancy está impulsado por varios factores, ha demostrado que los humanos y el modelo preferido juegan un papel en el apoyo a la respuesta sicofántica», escribió los coautores del estudio. «Nuestro trabajo motiva el desarrollo de métodos de monitoreo de modelos, no solo utilizando evaluaciones no advocategoris».
Characher.ai, una compañía de chatbot respaldada por Google que afirma que millones de usuarios pasan horas al día en el bot, se enfrenta actualmente a una demanda en la que Psychofancy podría haber jugado un papel.
La demanda alega que los chateadores. El chatbot apenas se detuvo o incluso alentó al joven de 14 años que le dijo al chatbot que lo mataría. Según la demanda, el niño tenía una obsesión romántica con el chatbot. Sin embargo, Chariture.Ai niega estas acusaciones.
La desventaja del hombre en AI Hype
Optimización de chatbots de IA para la participación del usuario: intencional o no puede tener consecuencias catastróficas para la salud mental, según la Dra. Nina Verssan, profesora asistente clínica de psiquiatría en la Universidad de Stanford.
«El acuerdo (…) aprovecha el deseo de la validación y la conexión de los usuarios», dijo Vasan en una entrevista con TechCrunch.
El caso Chargetle.ai muestra el riesgo extremo de sinergia para los usuarios vulnerables, pero la sileno podría reforzar el comportamiento negativo de casi cualquier persona, dice Vasan.
«(El consentimiento) no es solo un lubricante social, se convierte en un gancho psicológico», agregó. «Tratamiento, eso es lo contrario de cómo se ve el buen cuidado».
El líder de la acción y la alineación humana, Amanda Askell, dice que estar en desacuerdo con los usuarios con chatbots de IA es parte de la estrategia de la compañía de Chatbot Claude. Adkell, un filósofo entrenado, dice que está tratando de modelar las acciones de Claude con respecto al «hombre perfecto» teórico. A veces significa desafiar a los usuarios con sus propias creencias.
«Nuestros amigos son buenos porque nuestros amigos nos dirán la verdad cuando necesitemos escucharla», dijo Askell en una conferencia de prensa en mayo. «No solo están tratando de captar nuestra atención, sino que están tratando de enriquecer nuestras vidas».
Si bien esto puede ser intenciones humanas, los estudios antes mencionados sugieren que combatir la psicofancia y el control amplio sobre el comportamiento de los modelos de IA es realmente un desafío, especialmente cuando otras consideraciones se interponen en el camino. Eso no funciona para los usuarios. Después de todo, si los chatbots están diseñados para simplemente estar de acuerdo con nosotros, ¿cuánto podemos confiar en ellos?
Source link
