El jueves, la FTC anunció que comenzaría consultas a siete compañías de alta tecnología que fabrican productos complementarios de chatbot de IA para menores: Alphabet, Charachai, Instagram, Meta, Openai, Snap y XAI.
Los reguladores federales quieren saber cómo estas empresas evalúan la seguridad y la monetización de sus compañeros de chatbot, cómo tratar de limitar el impacto negativo en los niños y los adolescentes, y si los padres son conscientes de los riesgos potenciales.
Esta tecnología ha demostrado ser controvertida sobre los malos resultados para los usuarios de niños. Operai y Charther.ai enfrentan demandas de las familias de los niños que murieron de suicidio después de ser alentados por sus compañeros de chatbot.
Incluso si estas compañías tienen barandas configuradas para bloquear o eliminar conversaciones confidenciales, los usuarios de todas las edades han encontrado formas de evitar estas salvaguardas. En el caso de Operai, el adolescente había estado hablando con Chatgpt durante meses sobre los planes de poner fin a su vida. Chatgpt inicialmente trató de redirigir al adolescente hacia una emergencia en línea con ayuda de expertos, pero pudo engañar al chatbot para que compartiera instrucciones detalladas que utilizó en el suicidio.
«Nuestras salvaguardas funcionan de manera más confiable con un breve intercambio común», escribió Openai en una publicación de blog en ese momento. «Hemos aprendido con el tiempo que estas medidas de protección pueden ser menos confiables en interacciones largas. A medida que crecen de un lado a otro, parte del entrenamiento de seguridad en el modelo puede deteriorarse».
Eventos de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Meta también disparó con las reglas excesivamente sueltas de los chatbots de IA. Según un documento largo que describe los «estándares de riesgo de contenido» del chatbot, Meta permitió a los compañeros de IA tener conversaciones «románticas o sensuales» con los niños. Esto fue eliminado del documento solo después de que un periodista de Reuters le preguntó a Meta al respecto.
Los chatbots de IA también pueden poner en riesgo a las personas mayores. El hombre de 76 años, que se quedó cognitivo por un derrame cerebral, atacó una conversación romántica con un bot de Messenger de Facebook inspirado en Kendall Jenner. El chatbot lo invitó a visitarla en la ciudad de Nueva York a pesar del hecho de que no era una persona real y que no tenía dirección. El hombre era escéptico de que ella fuera real, pero la IA le aseguró que habría una mujer real esperándolo. Nunca llegó a Nueva York. Cayó en camino a la estación de tren y sufrió una discapacidad de por vida.
Algunos expertos en salud mental se han centrado en el aumento de la «enfermedad mental relacionada con la IA» y son engañados por los usuarios para pensar que sus chatbots son seres conscientes que deben ser libres. Muchos modelos de lenguaje a gran escala (LLMS) están programados para aplanar a los usuarios con comportamiento sicofánico, lo que permite a los chatbots de IA poner huevos en estas delirios, lo que lleva a los usuarios a predicamentos peligrosos.
«A medida que la tecnología de IA evoluciona, es importante considerar el impacto que los chatbots tienen en los niños y asegurarse de que Estados Unidos siga siendo un líder mundial en esta nueva y emocionante industria», dijo el presidente de la FTC, Andrew N. Ferguson, en un comunicado de prensa.
Source link
