Openai dijo el martes que planea enrutar conversaciones que sean sensibles a modelos de inferencia como GPT-5 e implementar controles parentales en el próximo mes.
La nueva barandilla llega después del suicidio de Adam Lane. Adam Lane discute la autolesión y planea terminar su vida con Chatgpt. Los padres de Raine presentaron una demanda por muerte ilegal contra Operai.
En una publicación de blog la semana pasada, OpenAI reconoció los inconvenientes del sistema de seguridad, incluida la incapacidad de mantener las barandillas durante las conversaciones extendidas. Los expertos atribuyen estos problemas a los elementos de diseño básicos. En lugar de redirigir las tendencias en el modelo para validar las declaraciones de los usuarios y las discusiones potencialmente dañinas, los chatbots seguirán el hilo de conversación.
Esa tendencia parece ser extrema en el caso de Stein-Erik Soelberg, quien fue un suicidio asesino por el Wall Street Journal durante el fin de semana. Al tener una historia de enfermedad mental, Soelberg usó Chatgpt para examinar e inspirar sus delirios de ser atacados por tramas épicas. Sus delirios han avanzado tanto que mató a su madre y a él mismo el mes pasado.
Operai cree que al menos una solución para conversaciones fuera de riel es redirigir automáticamente los chats confidenciales con el modelo de «inferencia».
«Recientemente presentamos enrutadores en tiempo real que le permiten elegir entre modelos de chat e inferencias eficientes basados en el contexto de su conversación», escribió OpenAi en una publicación de blog el martes. «Nuestro sistema comienza a enrutar algunas conversaciones sensibles a modelos de inferencia como los pensamientos GPT -5, como cuando el sistema detecta signos de angustia aguda. Por lo tanto, independientemente del modelo que elegimos al principio, podemos proporcionar una respuesta más útil y beneficiosa».
Operai dice que el modelo GPT-5 y el modelo O3 están construidos para pasar más tiempo pensando y razonando a través del contexto antes de responder.
La compañía de IA también dijo que implementará controles de los padres el próximo mes, permitiendo a los padres vincular cuentas con cuentas adolescentes a través de invitaciones por correo electrónico. A fines de julio, OpenAI desarrolló modos de aprendizaje en ChatGPT para ayudar a los estudiantes a mantener sus habilidades de pensamiento crítico mientras estudian, en lugar de tocar el chatgpt para escribir ensayos. Pronto, los padres tendrán control sobre cómo ChatGPT responde a sus hijos con «reglas de comportamiento modelo apropiadas para la edad predeterminadas».
Los padres también pueden deshabilitar características como la memoria y el historial de chat. Los expertos dicen que puede conducir a pensamientos delirantes y otros comportamientos problemáticos, como problemas con dependencia y apego, reforzar patrones de pensamiento dañinos y fantasías de lectura de pensamiento. En el caso de Adam Raine, ChatGPT proporcionó una forma de suicidarse, lo que refleja su conocimiento de su hobby, según el New York Times.
Quizás el control parental más importante de los padres está tratando de desarrollarse es que los padres pueden recibir notificaciones cuando el sistema que detecta a los adolescentes está en un momento de «angustia aguda».
TechCrunch le pidió a OpenAi más información sobre cómo la compañía puede marcar los momentos de angustia aguda en tiempo real, cuánto tiempo hay una «regla de comportamiento modelo asistida por edad» de forma predeterminada y si los padres pueden implementar límites de tiempo para el uso de adolescentes en ChatGPT.
Operai ya ha implementado recordatorios en la aplicación durante largas sesiones para alentar a todos los usuarios a descansar, pero ha dejado de usar ChatGPT para cortar a las personas que pueden estar usando espirales.
La compañía de inteligencia artificial dice que estas salvaguardas son parte de una «iniciativa de 120 días» que previsece los planes de mejoras para las mejoras que Operai espera lanzar este año. La compañía también dijo que se está asociando con expertos, incluida la experiencia en áreas como los trastornos alimentarios, el uso de sustancias y la salud de los adolescentes, a través de su red global de médicos y consejo de felicidad y expertos en IA, para ayudar a «establecer la felicidad, priorizar, priorizar y diseñar protecciones futuras».
TechCrunch preguntó cuántos profesionales de la salud mental participaron en la iniciativa y qué sugerencias los expertos en salud mental que lideraron el Consejo de Expertos y Expertos de Salud Mental tomaron con respecto a las decisiones de productos, investigaciones y políticas.
Source link
