IA constitucional

Inteligencia Artificial Constitucional (del inglés Constitutional AI, CAI) es un método de entrenamiento para grandes modelos de lenguaje (LLM) basado en el uso de un conjunto explícito de reglas y principios (la llamada «constitución») para dar forma a un comportamiento de la IA que sea seguro, ético y predecible. Este enfoque fue desarrollado por la empresa de investigación Anthropic en 2022 como una alternativa al aprendizaje por refuerzo a partir de retroalimentación humana (RLHF).

La CAI permite que el modelo evalúe y corrija su propio comportamiento de forma autónoma de acuerdo con un sistema de valores predefinido, asegurando un equilibrio entre utilidad, honestidad e inocuidad.

Historia y motivación

El método fue propuesto por los investigadores de Anthropic en respuesta a las limitaciones del enfoque RLHF, entre las que se incluyen:

• la necesidad de un etiquetado manual a gran escala;
• la opacidad de los valores aprendidos por el modelo;
• la tendencia de los modelos a rechazar solicitudes potencialmente seguras;
• las dificultades para transferir los valores a otros contextos culturales y normativos.

La CAI fue desarrollada con el objetivo de aumentar la transparencia y la escalabilidad del entrenamiento de una IA ética, garantizando al mismo tiempo el cumplimiento de los derechos y normas fundamentales.

Fundamento teórico

La CAI se basa en la idea de proporcionar explícitamente al modelo un conjunto de reglas (una constitución) que reflejen valores humanos universales. Ejemplos de estos principios incluyen:

• el respeto a los derechos humanos (basado en la Declaración Universal de Derechos Humanos);
• la prohibición de la discriminación, la agresión y la toxicidad;
• la protección de la información confidencial;
• la prioridad de la honestidad y la precisión fáctica;
• el fomento de la cooperación y la interacción no violenta.

A diferencia del RLHF, donde las directrices de comportamiento del modelo se establecen indirectamente a través de las preferencias de los anotadores, la CAI utiliza una lista de normativas explícitamente formuladas, disponible para su revisión y edición.

Arquitectura y entrenamiento

La CAI se implementa en dos etapas:

1. Entrenamiento con autocrítica (Fase de autocrítica): El modelo genera una respuesta a una solicitud y luego, utilizando los principios de la constitución, analiza y corrige de forma autónoma su propia respuesta si esta viola las normas establecidas. Estos pares (respuesta original y corregida) se utilizan para el reentrenamiento del modelo al estilo de un ajuste fino supervisado (supervised fine-tuning).
2. Aprendizaje por refuerzo a partir de retroalimentación de la IA (RLAIF): Para múltiples pares de respuestas, un modelo-juez (generalmente el mismo modelo) compara las variantes desde la perspectiva del cumplimiento de la constitución. Luego, se entrena un modelo de recompensa y el modelo principal se reentrena utilizando RL (por ejemplo, PPO) con base en esta retroalimentación. Esta metodología evita por completo el etiquetado manual de contenido tóxico y se basa en el control automatizado del cumplimiento de los valores.

Ventajas y características

• Transparencia: la constitución puede ser publicada, revisada y verificada.
• Escalabilidad: no hay necesidad de un costoso anotado manual.
• Seguridad: reducción de los riesgos de comportamiento dañino o discriminatorio del modelo.
• Utilidad: el modelo no tiende a rechazos excesivos, a diferencia del RLHF.
• Control: los valores se pueden adaptar a contextos legales o culturales.

La constitución popular de la IA: experimento de 2023

En 2023, la empresa Anthropic, en colaboración con la iniciativa de investigación Collective Intelligence Project, llevó a cabo un experimento pionero para desarrollar una «constitución popular» para la IA. El objetivo del proyecto era determinar cómo se puede integrar la opinión pública y los principios democráticos en la formulación de las restricciones normativas para el comportamiento de los modelos de lenguaje.

En el estudio participaron más de 1000 personas, que representaban una muestra demográficamente equilibrada de ciudadanos de EE. UU. Se pidió a los participantes que evaluaran y seleccionaran los valores que deberían guiar a la IA, así como que formularan principios de comportamiento específicos para los asistentes de chat. Durante el proceso, se utilizaron métodos de votación colectiva, clasificación y elección argumentada, incluidas versiones modificadas de mecanismos como el sondeo deliberativo (Deliberative Polling) y la votación cuadrática (Quadratic Voting). Características clave del experimento:

• Escala: más de 1000 encuestados, abarcando un amplio espectro de opiniones políticas, estatus sociales y niveles educativos.
• Procedimiento: discusión y refinamiento iterativo de las normas, votación de los principios y verificación de las formulaciones.
• Resultado: la creación de una constitución de IA alternativa, orientada a las preferencias expresadas democráticamente.

Un análisis comparativo entre la constitución «popular» y la original (desarrollada por expertos de Anthropic) mostró una coincidencia significativa en los principios básicos:

• prohibición de la discriminación,
• fomento de la honestidad,
• respeto a la privacidad.

Sin embargo, la versión «popular» puso un mayor énfasis en:

• la igualdad de acceso a la información;
• la objetividad e imparcialidad de las respuestas;
• el derecho del usuario a recibir una explicación por parte del modelo.

El experimento demostró que la implementación de mecanismos democráticos en el proceso de creación de marcos normativos para la IA puede contribuir a:

• la legitimidad del comportamiento de la IA a los ojos de los usuarios;
• la reducción de los riesgos de sesgo cultural o político;
• una mayor aceptación de los sistemas de IA en la sociedad.

Literatura

• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Huang, S. et al. (2024). Collective Constitutional AI: Aligning a Language Model with Public Input. arXiv:2406.07814.
• Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
• Sun, Z. et al. (2023). Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision. arXiv:2305.03047.
• Wang, Y. et al. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Petridis, S. et al. (2024). ConstitutionalExperts: Training a Mixture of Principle-based Prompts. arXiv:2403.04894.
• Huang, S. & Siddarth, D. (2024). ConstitutionMaker: Interactively Critiquing Large Language Models with Public Principles. ACM CHI 2024. DOI:10.1145/3640543.3645144.
• Bai, Y. et al. (2023). Training a Helpful and Harmless Assistant with RLHF and RLAIF. Anthropic Technical Report. RL repository.
• Glaese, A. et al. (2024). ConstitutionalExperts: Towards Automated Principle Refinement for Aligned Language Models. NeurIPS 2024 Workshop. arXiv:2403.04894.
• Lovitt, L. et al. (2024). Redefining Superalignment: From Weak- to Strong-Alignment. arXiv:2504.17404.