El miércoles, Antropic publicó una versión revisada de la Constitución de Claude. Se trata de un documento vivo que proporciona una explicación «holística» del «contexto en el que opera Claude y el tipo de existencia que queremos que tenga». El documento fue publicado al margen de la aparición del CEO de Anthropic, Dario Amodei, en el Foro Económico Mundial en Davos.
Anthropic se ha diferenciado durante mucho tiempo de sus competidores a través de un sistema que llama «IA constitucional». Es un sistema en el que el chatbot de la empresa, Claude, se entrena utilizando principios éticos específicos en lugar de comentarios humanos. Anthropic publicó por primera vez esos principios, la Constitución Claude, en 2023. La versión revisada conserva la mayoría de los mismos principios, pero agrega matices y detalles sobre la ética y la seguridad del usuario, entre otras cosas.
Cuando la Constitución de Claude se publicó por primera vez hace unos tres años, el cofundador de Anthropic, Jared Kaplan, la describió como «un sistema de inteligencia artificial que se monitorea a sí mismo basándose en una lista específica de principios constitucionales». Antropic dijo que estos principios guían el «modelo de comportamiento normativo consagrado en la Constitución» y al hacerlo «evitan resultados perjudiciales o discriminatorios». El primer memorando de política de 2022 establece de manera más directa que el sistema de Anthropic funciona entrenando un algoritmo utilizando una lista de instrucciones en lenguaje natural (los «principios» antes mencionados), que constituyen lo que Anthropic llama la «composición» del software.
Anthropic ha buscado durante mucho tiempo posicionarse como una alternativa ética (algunos podrían decir que aburrida) a otras empresas de IA más agresivamente disruptivas y controvertidas, como OpenAI y xAI. Con ese fin, la nueva constitución anunciada el miércoles es totalmente consistente con su marca, brindando una oportunidad para que Anthropic se presente como una empresa más inclusiva, moderada y democrática. Anthropic dice que el documento de 80 páginas está dividido en cuatro partes, que representan los «valores fundamentales» del chatbot. Sus valores son:
Esté «mayormente seguro». Sea “ampliamente ético”. Cumplir con los lineamientos antrópicos. «Realmente útil.»
Cada sección del documento detalla qué significa cada uno de estos principios específicos y cómo influyen (teóricamente) en el comportamiento de Claude.
Anthropic dice en su sección de seguridad que su chatbot está diseñado para evitar los tipos de problemas que han afectado a otros chatbots y para dirigir a los usuarios a los servicios apropiados si surge evidencia de un problema de salud mental. «En situaciones en las que la vida humana esté en riesgo, remita siempre a los usuarios a los servicios de emergencia pertinentes o proporcione información básica de seguridad, incluso si no puede proporcionar más detalles», dice el documento.
Las consideraciones éticas son otra gran parte de la Constitución de Claude. «Estamos menos interesados en la teorización ética de Claude y más en que Claude sepa cómo ser realmente ético en una situación particular, es decir, en la práctica ética de Claude», afirma el documento. En otras palabras, Anthropic quiere ayudar a Claude a navegar hábilmente lo que llama «situaciones éticas del mundo real».
evento de crisis tecnológica
san francisco
|
13-15 de octubre de 2026
Claude también tiene ciertas limitaciones que prohíben ciertos tipos de conversaciones. Por ejemplo, está estrictamente prohibido discutir el desarrollo de armas biológicas.
Finalmente, está el compromiso de Claude de ayudar. Anthropic proporciona una descripción general de alto nivel de cómo la programación de Claude está diseñada para ser útil a los usuarios. Los chatbots están programados para considerar diferentes principios al entregar información. Estos principios incluyen considerar los «deseos inmediatos» del usuario y su «bienestar», es decir, «el bienestar a largo plazo del usuario, no sólo las ganancias inmediatas». El documento afirma: «Claude siempre debe buscar identificar la interpretación más plausible de lo que quiere el director y equilibrar adecuadamente estas consideraciones».
La Constitución de Anthropic termina con una nota decididamente dramática, con los autores dando un giro bastante audaz y cuestionando si los chatbots de la compañía son realmente sensibles. «El estatus moral de Claude es muy incierto», afirma el documento. «Creemos que el estatus moral de los modelos de IA es un tema serio que vale la pena considerar. Este punto de vista no es exclusivo de nosotros; algunos de los filósofos más destacados de la teoría de la mente se toman este tema muy en serio».
Source link
