Campbell Brown ha pasado su carrera buscando información precisa, primero como un reconocido periodista de televisión y luego como el primer y único jefe de noticias a tiempo completo de Facebook. Hoy en día, vemos la amenaza de que la historia se repita mientras observamos cómo la IA cambia la forma en que las personas consumen información. Esta vez, no está esperando que alguien más lo arregle.
Su empresa, Forum AI, sobre la que habló recientemente con Tim Fernholz de TechCrunch en la noche de StrictlyVC en San Francisco, evalúa cómo se desempeñan sus modelos fundamentales en lo que ella llama «temas de alto riesgo», temas como geopolítica, salud mental, finanzas y reclutamiento que son «vagos, matizados y complejos, sin respuestas claras de sí o no».
La idea es encontrar los principales expertos del mundo para crear puntos de referencia y capacitar a los jueces de IA para evaluar modelos a escala. Para el trabajo geopolítico de Forum AI, Brown contrató a Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el expresidente de la Cámara de Representantes Kevin McCarthy y Ann Neuberger, quien dirigió la ciberseguridad en la administración Obama. El objetivo es que los jueces de AI alcancen alrededor del 90% de acuerdo con los expertos humanos, y Forum AI pudo alcanzar este umbral, dijo.
Brown remonta los orígenes de Forum AI, fundado hace 17 meses en Nueva York, a un momento específico. «Estaba en Meta cuando ChatGPT se hizo público por primera vez, y recuerdo que justo después me di cuenta de que este iba a ser el embudo por el que fluiría toda la información, y no era muy bueno». Teniendo en cuenta el impacto que tuvo en sus propios hijos, el momento pareció casi real. «Mis hijos van a ser realmente estúpidos si no encontramos una manera de resolver esto», recuerda haber pensado.
Lo que más la frustró fue que la precisión no parecía ser la prioridad de nadie. Dijo que las empresas modelo de la Fundación están «muy centradas en la codificación y las matemáticas», pero las noticias y la información son más difíciles. Pero lo más difícil, argumentó, es que eso no significa que sea opcional.
De hecho, cuando Forum AI comenzó a evaluar modelos líderes, los resultados no siempre fueron alentadores. Señaló que casi todos los modelos tienen un sesgo político de izquierda, y señaló que se accede a Gemini a través de sitios web del Partido Comunista Chino para «artículos que no tienen nada que ver con China». También hay muchas fallas sutiles, dijo, como la falta de contexto, la falta de perspectiva y los argumentos que juegan a la basura sin reconocimiento. «Tenemos un largo camino por recorrer», dijo. «Pero también creo que hay algunas soluciones muy simples que mejorarán significativamente los resultados».
Brown pasó años en Facebook, observando lo que sucede cuando la plataforma se optimiza para las cosas equivocadas. «Fracasamos en muchas cosas que intentamos», le dijo a Fernholz. El programa de verificación de datos que ella creó ya no existe. Incluso si las redes sociales hacen la vista gorda, la lección es que optimizar la participación es malo para la sociedad y muchas personas están mal informadas.
Su esperanza es que la IA pueda romper ese ciclo. «En este punto, podría ir en cualquier dirección», dijo. Las empresas podrían dar a los usuarios lo que quieren, o podrían «dar a las personas lo que es auténtico, honesto y verdadero». Reconoció que una versión idealista de eso, una IA que optimiza la verdad, podría parecer ingenua. Pero cree que es poco probable que las corporaciones sean aliadas aquí. Las empresas que utilizan IA para decisiones crediticias, préstamos, seguros y contrataciones se centran en la responsabilidad y «querrán optimizar para resolver la responsabilidad correctamente».
Esa demanda corporativa es también a lo que Forum AI está apostando su negocio, pero convertir las preocupaciones de cumplimiento en ingresos estables sigue siendo un desafío, especialmente dado que gran parte del mercado actual todavía está satisfecho con auditorías de casillas de verificación y puntos de referencia estandarizados que Brown considera insuficientes.
La situación de cumplimiento es «una broma», afirma. Cuando la ciudad de Nueva York aprobó la primera ley sobre prejuicios laborales que exigía auditorías de IA, el auditor estatal descubrió que más de la mitad tenían violaciones no detectadas. La evaluación real, afirma, requiere experiencia en el campo que pueda abordar no sólo escenarios conocidos, sino también casos extremos que «pueden meter a la gente en problemas en los que ni siquiera piensan». Y ese trabajo lleva tiempo. «Un generalista inteligente no debería hacer eso».
Brown, cuya empresa dirigida por Lerer Hippow recaudó 3 millones de dólares el otoño pasado, está en una posición única para explicar la desconexión entre la autoimagen de la industria de la IA y la realidad de la mayoría de los usuarios. «Escucharás a los líderes de las grandes empresas de tecnología: ‘Esta tecnología va a cambiar el mundo’, ‘Vas a perder tu trabajo’, ‘Va a curar el cáncer'», dice. «Pero para la persona promedio que simplemente usa un chatbot para hacer preguntas básicas, todavía obtendrá muchas respuestas descuidadas e incorrectas».
Ella cree que la confianza en la IA se encuentra en niveles muy bajos y que el escepticismo a menudo está justificado. «Hay una conversación en Silicon Valley sobre una cosa, pero hay una conversación completamente diferente entre los consumidores».
Si compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta la independencia editorial.
Source link
