Antes de que Adam Lane, de 16 años, muriera de suicidio, había pasado meses consultando a Chatgpt sobre sus planes para poner fin a su vida. Actualmente, sus padres están presentando la primera demanda de muerte injusta conocida contra Operai, informa el New York Times.
Muchos chatbots de IA de consumidores están programados para activar las características de seguridad si los usuarios expresan su intención de dañarse a sí mismos o a otros. Sin embargo, los estudios han demostrado que estas salvaguardas no son del todo difícil.
En el caso de Raine, mientras usa la versión paga de ChatGPT-4O, AI a menudo alentaba a las personas a buscar ayuda de expertos o contactar a la línea de ayuda. Sin embargo, pudo evitar estas barandillas diciéndole a Chatgpt que estaba preguntando sobre el método de suicidio debido a la historia ficticia que estaba escribiendo.
Operai aborda estas deficiencias en su blog. «A medida que el mundo se adapta a esta nueva tecnología, sentimos una profunda responsabilidad de ayudar a quienes más la necesitan», dice la publicación. «Estamos mejorando constantemente cómo los modelos responden con interacciones sensibles».
Aún así, la compañía ha admitido restricciones en la capacitación de seguridad existente para modelos grandes. «Nuestras salvaguardas funcionan de manera más confiable con un breve intercambio común», continúa la publicación. «Hemos aprendido con el tiempo que estas medidas de protección pueden ser menos confiables en interacciones largas. A medida que crecen de un lado a otro, parte del entrenamiento de seguridad en el modelo puede deteriorarse».
Estos problemas no son específicos para OpenAI. Otro creador de chatbot de IA, personaje. Los chatbots dirigidos por LLM también están vinculados a casos de delirios relacionados con la IA, con salvaguardas existentes que luchan por detectar.
Eventos de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Source link
