Multi-Agent Debate (ES)

El debate multiagente (del inglés multi-agent debate) es un enfoque en el campo de los modelos grandes de lenguaje (LLM), en el que varios agentes (instancias del modelo de lenguaje) que interactúan entre sí discuten colaborativamente la solución a un problema dado, intercambiando argumentos e intentos de respuesta. El objetivo de este proceso es generar colectivamente la respuesta más correcta y fundamentada a la pregunta planteada. Este enfoque se basa en la idea de una «sociedad de mentes», donde diferentes modelos verifican y complementan las conclusiones de los demás. Las investigaciones han demostrado que el debate multiagente permite aumentar significativamente la precisión y fiabilidad de las respuestas en comparación con la generación de una respuesta mediante un solo método: la respuesta final obtenida después de los debates entre agentes suele ser más fáctica y se desempeña mejor en tareas que requieren razonamiento. En particular, se observa una reducción en la cantidad de alucinaciones (hechos inexistentes) y un aumento del éxito en tareas de prueba complejas al utilizar esta estrategia.

La idea de utilizar varias IA para debatir se remonta a los trabajos sobre la seguridad de la inteligencia artificial. En 2018, un grupo de investigadores de OpenAI (G. Irving, P. Christiano, D. Amodei) propuso el concepto de AI safety via debate (seguridad de la IA a través del debate): entrenar agentes mediante debates competitivos en los que dos modelos oponentes presentan argumentos breves por turnos, y un juez humano decide cuál de ellos ha presentado la información más veraz y útil. Se suponía que, con una estrategia óptima, tales debates permitirían a la IA responder preguntas extremadamente complejas, requiriendo del juez solo la evaluación de la veracidad de los argumentos. En los años siguientes, con la aparición de potentes LLM, el principio del debate entre modelos comenzó a aplicarse directamente para mejorar la calidad de las respuestas de los propios modelos, ya sin la participación obligatoria de un humano, sino con una selección automatizada de la mejor solución. Los sistemas modernos de LLM multiagente utilizan el diálogo entre copias o diferentes modelos para corregir los errores de los demás y llegar juntos a un resultado más fundamentado.

Procedimiento del debate multiagente

En un escenario de debate multiagente, varios agentes-modelos trabajan en paralelo en la misma tarea. Por lo general, al principio, a cada agente se le proporciona la pregunta o tarea inicial, después de lo cual cada agente genera su propia respuesta de forma independiente. A esto le sigue una serie de rondas de comunicación entre los agentes: en cada ronda, todos los participantes intercambian sus soluciones actuales, y cada agente recibe las respuestas de los demás como contexto adicional, sobre la base del cual refina o mejora su respuesta en la siguiente ronda. Este ciclo continúa durante varias iteraciones (generalmente un número fijo de rondas o hasta alcanzar un acuerdo explícito), después de lo cual el proceso se detiene y se emite la respuesta final. Los debates imitan una discusión humana, permitiendo a los modelos criticar las respuestas de los demás y combinar sus habilidades de razonamiento para mejorar la calidad de la solución. Por ejemplo, Yilun Du y sus colegas (MIT y Google Brain) utilizaron en sus experimentos 3 instancias de un modelo de lenguaje que discutían un problema durante 2 rondas (un número mayor de rondas se limitó debido a los costos de tiempo y computación); se demostró que incluso con un diálogo tan limitado, las respuestas finales mejoraron notablemente, y al aumentar el número de agentes o rondas, la precisión continuó creciendo (aunque con rendimientos decrecientes).

El procedimiento del debate multiagente se implementa completamente en la etapa de inferencia (inference) mediante prompts especiales para organizar el diálogo entre modelos ya entrenados. Esto significa que el método no requiere reentrenamiento de los LLM y puede aplicarse incluso a «cajas negras»; basta con tener acceso a la generación de texto de los modelos y coordinar su comunicación según una plantilla predefinida.

Para determinar la respuesta final después de varias rondas, se utilizan diferentes enfoques. Uno de los mecanismos más simples es la votación: al final, los agentes pueden proponer sus soluciones finales de forma independiente, y luego se elige la opción respaldada por la mayoría (o, por ejemplo, la respuesta más frecuente). Otro enfoque es requerir el consenso, es decir, continuar la discusión hasta que todos los modelos lleguen a la misma respuesta. Finalmente, se puede emplear un agente-juez separado: ya sea una red neuronal entrenada para evaluar respuestas, o uno de los agentes dotado de la función de árbitro. El juez observa el curso de la discusión y elige qué argumento fue el más convincente o correcto. La elección del mecanismo de toma de decisiones influye en las características del sistema: la votación o el consenso son fáciles de implementar, pero pueden fijar errores grupales, mientras que un evaluador-juez (especialmente uno entrenado para identificar la respuesta correcta) teóricamente puede extraer la solución correcta incluso en presencia de contradicciones entre los agentes. Sin embargo, el enfoque del juez también tiene dificultades; por ejemplo, si el rol de juez lo desempeña el mismo modelo que los participantes, puede inclinarse involuntariamente a favor del estilo de argumentación familiar de uno de los agentes.

Variantes de configuración de agentes y comunicación

Los sistemas multiagente con LLM pueden diferir en la composición y el método de interacción de los agentes. Una configuración homogénea implica que todos los agentes son copias del mismo modelo (o de modelos de nivel similar), mientras que una configuración heterogénea incluye modelos de diferentes tipos o tamaños. En el caso homogéneo, todos los participantes tienen capacidades comparables, y sus desacuerdos surgirán solo debido a la generación estocástica de respuestas o a diferentes condiciones iniciales (por ejemplo, diferencias en los prompts). En el enfoque heterogéneo, se pueden utilizar modelos fuertes y débiles simultáneamente, lo que potencialmente permite que unos agentes compensen las deficiencias de otros. Así, las investigaciones muestran que la interacción de diferentes LLM lleva a que los modelos más débiles mejoren sus soluciones al recibir retroalimentación de los más fuertes. Un ejemplo ilustrativo es un debate conjunto entre los modelos de lenguaje ChatGPT (GPT-4) y Google Bard al resolver un problema matemático de texto: cada uno de estos modelos por separado dio una respuesta incorrecta, pero durante la discusión lograron señalarse mutuamente los errores y finalmente acordar la solución correcta, utilizando los puntos fuertes de cada uno. Al mismo tiempo, la heterogeneidad también conlleva riesgos: un desequilibrio significativo en las capacidades puede llevar a la dominación de un modelo, y si la mayoría de los agentes tienen un error común o un sesgo erróneo, los debates pueden converger rápidamente hacia una respuesta única pero incorrecta, un fenómeno que ha sido denominado efecto de «cámara de eco». El análisis teórico (Estornell & Liu, NeurIPS 2024) demostró que con modelos muy similares, el debate puede estancarse en una dinámica estática, donde todos los participantes repiten la opinión de la mayoría, incluso si se basa en un error común en sus datos. Por lo tanto, en los sistemas heterogéneos es crucial una selección cuidadosa de los agentes; por ejemplo, se seleccionan modelos con un nivel de conocimiento comparable para que ninguno domine ni induzca a error a los demás.

Otro aspecto es la estructura de comunicación entre los agentes. En las implementaciones básicas, se utiliza una topología de comunicación totalmente conectada: en cada ronda, cada agente recibe las respuestas de todos los demás. Este intercambio «de todos con todos» maximiza la información disponible, pero genera costos significativos: el volumen del contexto crece proporcionalmente al número de agentes, lo que hace que los cálculos sean más pesados. Una alternativa es una topología dispersa, que limita con quién intercambia datos directamente cada agente. Por ejemplo, los agentes pueden organizarse en forma de una red de grafos (anillo, árbol, etc.), donde cada uno recibe respuestas solo de sus vecinos. Una investigación de Google (Li et al., 2024) reveló que limitar la conectividad de la red de agentes puede reducir significativamente los costos de generación sin empeorar, y a veces incluso mejorando, la calidad de la solución en comparación con una discusión totalmente conectada. En experimentos con los modelos GPT-3.5 y Mistral, un esquema disperso de discusiones «vecinales» produjo una precisión igual o superior en las tareas (incluidas las de matemáticas), al tiempo que redujo el número promedio de tokens de contexto por paso en un orden de magnitud. Este resultado indica que el intercambio excesivo de mensajes no siempre es necesario; basta con organizar correctamente las interacciones clave entre los agentes para que lleguen a la solución correcta con menores costos.

Además de la topología, son posibles diferentes formatos para llevar a cabo los debates. Por ejemplo, a algunos agentes se les pueden asignar diferentes roles: unos actúan como «generadores de ideas», otros como «críticos» o «verificadores» de soluciones. Este enfoque basado en roles busca imitar la división del trabajo, donde cada agente se especializa en una tarea específica (por ejemplo, uno propone una hipótesis, otro verifica los hechos, un tercero evalúa la coherencia lógica). Otra opción es la discusión por turnos (round-robin): los agentes no hablan simultáneamente, sino estrictamente por turnos, alternando los roles de orador y respondedor en un orden fijo. Esto se asemeja a los debates formales, donde se concede la palabra a los participantes según un reglamento, lo que puede garantizar una participación equitativa de todos los agentes. Un enfoque adicional es la regulación dinámica de los desacuerdos: el sistema puede fortalecer o debilitar deliberadamente el grado de desacuerdo entre las respuestas de los agentes en cada ronda. Por ejemplo, se puede fomentar que en las primeras etapas las respuestas diverjan al máximo (para cubrir diferentes hipótesis), y que a medida que se acerca el final, converjan. Este mecanismo fue propuesto en el trabajo de Chang (2024) para prevenir el acuerdo prematuro: mantiene un nivel moderado de contradicción entre los agentes, estimulando la aparición de nuevos argumentos y una discusión más profunda.

Ventajas y eficacia del enfoque

Los debates multiagente han llamado la atención por su capacidad para aumentar el rendimiento de los modelos de lenguaje en tareas complejas. Una serie de investigaciones independientes entre 2023 y 2024 han confirmado que un grupo de LLM que interactúan puede superar en calidad de respuesta a un modelo individual que trabaja en la misma tarea. En particular, se han mostrado mejoras en dominios que requieren un razonamiento complejo: desde cálculos matemáticos hasta programación y resumen de textos. Así, Yin et al. (2023), Chan et al. (2023), Chen et al. (2024) y otros señalan que los sistemas multiagente superan con confianza a los LLM individuales en problemas aritméticos, generación de código e incluso en la creación de resúmenes de documentos. La razón es la diversidad de perspectivas: cada agente puede notar detalles o errores que otros han pasado por alto y proporcionar retroalimentación a sus colegas. La crítica mutua y el intercambio de diferentes hipótesis conducen a un examen más completo del problema, gracias a lo cual la respuesta final resulta más precisa y fiable.

Por ejemplo, investigadores del MIT y Google Brain, liderados por Yilun Du, presentaron en ICML 2024 el trabajo «Improving factuality and reasoning in language models through multiagent debate», en el que se demostró una mejora significativa en la calidad de las soluciones al añadir debates entre tres instancias del modelo. Según sus resultados, el procedimiento de debate multiagente permitió lograr métricas más altas en una serie de tareas en comparación con el uso individual normal del mismo modelo: la precisión en la resolución de problemas matemáticos y estratégicos aumentó, mientras que la cantidad de errores fácticos disminuyó. En particular, el enfoque multiagente mejoró los resultados del modelo en pruebas de razonamiento matemático, verificación de hechos e incluso en tareas que requieren planificación estratégica. Los autores señalan que «la respuesta final, generada después de esta discusión de varias rondas, resulta ser tanto más correcta fácticamente como más exitosa en la resolución de tareas de razonamiento». A continuación se presenta una ilustración que compara la precisión en la ejecución de diversas tareas por parte del modelo en solitario y con el uso de debates multiagente.

Comparación de la precisión en varias tareas para la generación de un solo usuario (color azul) y para el modo de debate multiagente (color rojo). El enfoque multiagente (multi-agent debate) demuestra una mayor precisión en diversos dominios, incluyendo preguntas factuales (biografías), la prueba de conocimiento MMLU, la verificación de la corrección de movimientos de ajedrez, la resolución de expresiones aritméticas, problemas matemáticos de texto de nivel escolar (GSM8K) y la búsqueda del movimiento de ajedrez óptimo. Según el gráfico, los debates refuerzan especialmente las capacidades del modelo en tareas estratégicas complejas (por ejemplo, encontrar el movimiento óptimo en ajedrez) y reducen notablemente la proporción de errores en cálculos matemáticos y preguntas de conocimiento fáctico.

Otra ventaja del enfoque multiagente es la superación de las limitaciones de la autocorrección individual del modelo. Los LLM individuales a menudo aplican la técnica de self-reflection (autorreflexión), donde el propio modelo evalúa y corrige su respuesta inicial. Sin embargo, se ha descubierto que este método es propenso al problema de la «degeneration-of-thought» (degeneración del pensamiento): si el modelo está convencido de su respuesta inicial, durante la autoverificación no genera ideas fundamentalmente nuevas, incluso si la solución original es errónea. En otras palabras, el modelo tiende a quedarse estancado en la primera solución que se le ocurre, rechazando alternativas. Los debates multiagente ayudan a superar este efecto: varios agentes con igualdad de condiciones pueden proponer inicialmente diferentes hipótesis y luego desafiar secuencialmente los argumentos de los demás, lo que estimula la búsqueda de enfoques no convencionales. Tian Liang y sus colegas (EMNLP 2024) llamaron a su esquema multiagente MAD (Multi-Agent Debate) y demostraron que realmente fomenta el pensamiento divergente (diverso) en los modelos y mejora los resultados en tareas que requieren un análisis profundo del problema. En su implementación, varios agentes discuten según el principio de «ojo por ojo» (cada uno se opone por turnos a los argumentos del otro), y un juez auxiliar supervisa el proceso, gestionando la discusión y seleccionando la decisión final. Los experimentos de Liang et al. demostraron la eficacia de este enfoque en conjuntos de pruebas complejos: en tareas de traducción de sentido común (traducción de frases teniendo en cuenta el sentido común implícito) y en aritmética contraintuitiva (acertijos matemáticos con condiciones aparentemente ilógicas), la discusión multiagente produjo respuestas más correctas que los métodos estándar. El análisis también reveló que para obtener el mejor resultado, los debates deben interrumpirse de forma adaptativa, sin extenderlos demasiado, y mantener solo un nivel moderado de conflicto entre los agentes: un comportamiento demasiado agresivo o, por el contrario, demasiado conciliador empeora los resultados.

El enfoque multiagente ha demostrado ser útil no solo para las tareas típicas de pregunta-respuesta. Encuentra aplicación en otras áreas, por ejemplo, para un comportamiento más seguro y coherente de los modelos. Investigaciones independientes utilizan debates de agentes en tareas de moderación y elaboración de reglas: varios LLM pueden discutir si una respuesta dada es aceptable según normas éticas, proporcionándose así retroalimentación mutua durante el aprendizaje por refuerzo. Se ha observado que los debates pueden generar señales de evaluación más sutiles y fundamentadas, que ayudan a ajustar los modelos para que sean más seguros y útiles. También se han hecho intentos de extenderlo a tareas multimodales, por ejemplo, cuando unos agentes describen una imagen y otros verifican si la descripción se corresponde con ella. En un trabajo de Google (2024), se demostró el éxito de esta extensión: el enfoque multimodal mejoró los resultados tanto en tareas puramente textuales como en la comprensión multimodal de imágenes, demostrando la universalidad de la «sociedad de mentes». Curiosamente, la interacción en el marco de los debates puede mejorar el nivel de los modelos más débiles, como se mencionó anteriormente. Por ejemplo, cuando LLM de diferente potencia participan en una discusión común, «los modelos más débiles se fortalecen gradualmente, adoptando las estrategias exitosas de los más fuertes». De este modo, el sistema multiagente no solo resuelve la tarea planteada, sino que también sirve como un mecanismo de aprendizaje colectivo de los modelos entre sí.

Limitaciones y problemas abiertos

A pesar de sus considerables ventajas, los debates multiagente se enfrentan a una serie de dificultades y limitaciones. Una de las principales es el alto consumo de recursos de este enfoque. Para organizar una discusión, es necesario invocar repetidamente la generación de texto de modelos grandes: si participan n agentes en T rondas, el número total de llamadas al LLM aumenta n x T veces en comparación con una única respuesta. Además, en cada ronda, el modelo debe procesar como contexto no solo la pregunta inicial, sino también todas las réplicas de las rondas anteriores (las respuestas de todos los agentes). Así, con el aumento del número de agentes y rondas, el volumen de entrada de contexto crece exponencialmente, lo que lleva al efecto de explosión de contexto (context explosion): el desbordamiento de la ventana de contexto y el aumento de los costos de procesamiento. En los experimentos se ha observado que añadir incluso 2-3 rondas de discusión aumenta significativamente el número total de tokens de contexto que el modelo debe leer y, por consiguiente, el tiempo de respuesta. Teóricamente, la calidad de la solución mejora con el aumento del número de iteraciones, pero en la práctica, muchos trabajos señalan rendimientos decrecientes después de unas pocas rondas: a menudo, el efecto máximo se alcanza en la segunda o tercera ronda, después de lo cual las discusiones posteriores pueden llevar a la repetición de los mismos argumentos o incluso a una disminución de la precisión debido a la sobresaturación del contexto. Por ejemplo, He et al. (2023) mostraron un aumento de la precisión solo hasta la segunda ronda de debates, seguido de una disminución; de manera similar, Liu, Li y colegas (2024) informan de un pico de calidad en torno a las 4 rondas, después de lo cual los ciclos adicionales solo interfieren. Por lo tanto, determinar la duración óptima de los debates es una tarea compleja: una discusión demasiado corta puede no explotar todo el potencial de la inteligencia colectiva, mientras que una demasiado larga puede causar ruido informativo y sobrecarga de contexto.

Otro problema son los riesgos de un acuerdo grupal sobre una respuesta incorrecta. Si todos los agentes tienen una experiencia similar y están erróneamente convencidos de un hecho, pueden reforzar el error de los demás. Se produce un efecto de cámara de eco: durante los debates, los modelos llegan a un consenso, no porque hayan encontrado la verdad, sino como resultado de la confirmación de un sesgo inicial común. Los resultados teóricos (Estornell & Liu, 2024) indican que con modelos idénticos, los debates pueden caer en un estancamiento, repitiendo la opinión de la mayoría sin que surjan nuevas ideas. Esto es especialmente peligroso cuando esta mayoría comparte un error común, incorporado, por ejemplo, en los datos de entrenamiento; en ese caso, el resultado de toda la discusión será incorrecto. Para superar este problema, se proponen métodos de intervención especiales (diversity-pruning): en cada ronda, se descartan algorítmicamente las respuestas demasiado similares, incentivando a los agentes a generar diferentes variantes con la máxima entropía de información. Esto reduce la probabilidad de que todas las respuestas sean variaciones del mismo error. Otra técnica es la detección y refutación de conceptos erróneos (misconception refutation): el sistema intenta identificar automáticamente las suposiciones comunes de los agentes y desafía deliberadamente aquellas que podrían ser falsas. En el trabajo de Estornell & Liu se propone un conjunto de tres intervenciones similares —además de las mencionadas, también quality-pruning (selección de los argumentos más relevantes y de mayor calidad en cada paso)— y se muestra que su combinación aumenta notablemente la eficacia de los debates y previene la tendencia a la cámara de eco.

Finalmente, cabe señalar que la estabilidad y previsibilidad de las discusiones multiagente están lejos de ser ideales. En algunos experimentos, los debates dieron lugar a resultados inestables: diferentes ejecuciones de la misma discusión podían converger a respuestas distintas, o la respuesta conjunta resultaba peor que la de un modelo individual sin debate. Wang et al. (2024) y Smit et al. (2023) observaron de forma independiente casos en los que la adición de agentes empeoraba el rendimiento, lo que indica la delgada línea entre la crítica útil y las disputas destructivas. Identificar las condiciones en las que el enfoque multiagente es garantizadamente beneficioso sigue siendo objeto de investigación. Quedan abiertas preguntas como: cómo decidir automáticamente cuándo detener los debates y fijar una respuesta para no perder la ventaja ni caer en una disputa interminable, y de qué manera tomar una decisión colectiva —ya sea mediante votación, consenso o con la ayuda de un juez externo— de la forma más fiable para diferentes tipos de tareas. También es acuciante el problema de la seguridad y controlabilidad de los sistemas multiagente: es necesario asegurarse de que los agentes no generarán conjuntamente contenido no deseado o tóxico y no reforzarán las tendencias dañinas de los demás. Estas cuestiones, especialmente las relativas a la seguridad y escalabilidad, se reconocen como actuales y complejas. Las revisiones contemporáneas señalan que se necesitan más investigaciones dedicadas al desarrollo de reglas de detención fiables para las discusiones, la evaluación de la escalabilidad del enfoque al aumentar el número de agentes y rondas, y la implementación de métodos que garanticen la fiabilidad y veracidad de la respuesta obtenida colectivamente. La resolución de estas tareas permitirá convertir los debates multiagente en una herramienta aún más potente y universal para crear sistemas de inteligencia artificial más inteligentes y seguros.

Enlaces externos

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — página del proyecto
• AI safety via debate — artículo original de OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — artículo sobre la optimización de la comunicación
• Literature Review Of Multi-Agent Debate For Problem-Solving — revisión de la literatura
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — artículo sobre MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — artículo de NeurIPS 2024

Bibliografía

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.