Common Sense Media, una revisión sin fines de lucro y una revisión de tecnología y medios centrados en la caja fuerte de los niños, publicó una evaluación de riesgos para los productos Gemini AI de Google el viernes. La organización ha descubierto que la IA de Google comunica claramente que es una computadora, no un niño. Esto está relacionado con la promoción del pensamiento delirante y la enfermedad mental en individuos emocionalmente vulnerables.
En particular, Common Sense declaró que tanto las capas de «experiencia adolescente» de Géminis parecen una versión para adultos de Géminis debajo del capó, con solo características de seguridad adicionales agregadas. La organización cree que para que los productos de IA sean realmente seguros para los niños, deben construirse con la seguridad infantil en mente.
Por ejemplo, el análisis encontró que Géminis podría compartir material «inapropiado e inseguro» con los niños, incluida la información relacionada con el género, las drogas, el alcohol y otros consejos de salud mental inseguros.
Este último puede ser particularmente preocupante para los padres, ya que la IA ha jugado un papel en varios suicidios para adolescentes en los últimos meses. Operai enfrenta la primera demanda por muerte ilegal después de que un niño de 16 años murió de suicidio después de consultar con ChatGPT durante varios meses por pasar por alto con éxito la barandilla de seguridad del chatbot. Anteriormente, el fabricante compañero de IA Charache.ai también fue demandado por el suicidio de un usuario adolescente.
Además, el análisis muestra que Apple considera a Gemini como LLM (modelo de lenguaje grande), lo que ayudará a impulsar Siri habilitado para AI, que se lanzará el próximo año. A menos que Apple de alguna manera reduce las preocupaciones de seguridad, esto podría poner en riesgo a más adolescentes.
Common Sense también dijo que los productos de Gemini para niños y adolescentes ignoraron cómo los usuarios más jóvenes necesitaban diferentes orientación e información que los usuarios mayores. Como resultado, ambos fueron etiquetados como «alto riesgo» en la calificación general, a pesar de la adición de filtros de seguridad.
«Géminis obtiene algunos conceptos básicos correctos, pero están tropezando con los detalles», dijo Robbie Torney, directora senior del programa de inteligencia artificial, Common Sense Media, en un comunicado sobre las nuevas calificaciones que Saw TechCrunch. «Las plataformas de IA para niños deben conocer a los niños en lugar de adoptar un enfoque único para todos en diferentes etapas de desarrollo. Para ser seguros y efectivos para los niños, la IA debe diseñarse con las necesidades y el desarrollo en mente, no solo versiones modificadas de productos construidos para adultos», agregó Torney.
Eventos de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Google se opuso a la revisión y señaló que sus características de seguridad se han mejorado.
La compañía le dijo a TechCrunch que tiene políticas y salvaguardas específicas que ayudan a los usuarios menores de 18 años a evitar una producción dañina, y que consultará con expertos externos para mejorar la protección. Sin embargo, admitió que algunas de las respuestas de Gemini no funcionaban según lo previsto, lo que significa que se agregaron salvaguardas adicionales para abordar estas preocupaciones.
La compañía señaló (como sentido común también señaló) que hay salvaguardas para evitar que los modelos participen en conversaciones que podrían conducir a similitudes en las relaciones reales. Además, Google sugiere que los informes de sentido común parecen referirse a características que no estaban disponibles para los usuarios menores de 18 años, pero que la organización no pudo acceder a las preguntas que utilizó en la prueba.
Common Sense Media ha realizado otras evaluaciones de servicios de IA como OpenAI, Prplexity, Claude y Meta AI. Meta ai y letras. La confusión se consideró un alto riesgo, el chatGPT fue etiquetado como «moderado» y se encontró que Claude (dirigido a edades de 18 años y más) era un riesgo mínimo.
Source link
