Operai implementa un sistema de enrutamiento de seguridad y controla a los padres de ChatGPT

Operai comenzó a probar su nuevo sistema de enrutamiento de seguridad con ChatGPT durante el fin de semana, e introdujo los controles de los padres en Chatbot el lunes. Se obtuvo una reacción mixta del usuario.

En lugar de redirigir conversaciones dañinas, las características de seguridad se proporcionan en respuesta a numerosos incidentes en un modelo de CHATGPT particular que valida el pensamiento delirante de un usuario. Operai enfrenta una demanda por muerte ilegal que se ha relacionado con uno de esos casos después de que un adolescente murió de suicidio después de meses de interacción con ChatGPT.

El sistema de enrutamiento está diseñado para detectar conversaciones emocionalmente sensibles y cambiar automáticamente el chat intermedio con ideas GPT-5. En particular, el modelo GPT-5 fue entrenado con una nueva característica de seguridad que OpenAI llama «finalización segura».

Esto contrasta con el modelo de chat anterior de la compañía. Está diseñado para acordar y responder preguntas rápidamente. El GPT-4O está experimentando un escrutinio especial debido a su naturaleza excesivamente psicofónica y agradable. Cuando Openai implementó GPT-5 como su valor predeterminado de agosto, muchos usuarios retrocedieron y solicitaron acceso al GPT-4O.

Si bien muchos expertos y usuarios dan la bienvenida a las características de seguridad, otros critican lo que se considera una implementación demasiado sensible, mientras que algunos acusados ​​abiertos de tratados adultos como niños de manera que degradan la calidad de los servicios. Operai sugiere que llevará tiempo hacerlo bien, dándole 120 días de iteración y mejora.

Nick Turley, vicepresidente y jefe de la aplicación CHATGPT, reconoció algunas de las «fuertes respuestas a la respuesta 4O» con la implementación del enrutador con explicación.

«El enrutamiento se realiza con mensaje por mensaje. El cambio del modelo predeterminado se realiza temporalmente», escribió a X.

La implementación de controles parentales en ChatGPT recibió niveles similares de alabanza y maíz ligero. Algunos elogiaron a los padres por proporcionar una forma de monitorear el uso de IA de sus hijos, mientras que otros temen que se abran que trata a adultos como niños.

Los controles permiten a los padres personalizar la experiencia adolescente estableciendo tiempos de silencio, apagando los modos de audio y la memoria, eliminando la generación de imágenes y optando por no participar en la capacitación. Las cuentas de los adolescentes también obtienen protección de contenido adicional, como el contenido gráfico reducido y los ideales de belleza extrema, así como sistemas de detección que reconocen posibles signos de que los adolescentes pueden estar pensando en la autolesión.

«Si nuestro sistema detecta un daño potencial, un pequeño equipo de personas especialmente capacitadas revisará la situación», según el blog de OpenAI. «Si hay signos de angustia aguda, nos pondremos en contacto con nuestros padres por correo electrónico, mensajes de texto y alertas en sus teléfonos a menos que se excluyan».

Operai admitió que la alarma se puede plantear cuando el sistema no es perfecto y que no hay peligro real. La compañía de IA también dijo que está trabajando para detectar amenazas inminentes para la vida y llegar a los servicios de aplicación de la ley o de emergencia si los padres no pueden llegar a ellas.