Multi-Agent Debate — 多智能体辩论

多智能体辩论（Multi-Agent Debate）是大型语言模型（LLM）领域的一种方法，其中多个交互的智能体（语言模型的实例）共同讨论给定问题的解决方案，交换论点并尝试回答。这一过程的目标是集体生成对所提问题最正确、最合理的答案。该方法基于“心智社会”（society of minds）的思想，即不同的模型相互检验和补充彼此的结论。研究表明，与单一方法生成答案相比，多智能体讨论能显著提高答案的准确性和可靠性：经过智能体辩论后得出的最终答案，通常在事实上更可信，并且能更好地处理需要推理的任务。具体而言，使用该策略时，观察到幻觉（不存在的“事实”）数量减少，并且在复杂测试任务上的成功率有所提升。

利用多个 AI 进行辩论的想法可以追溯到人工智能安全领域的研究。2018年，OpenAI 的一组研究人员（G. Irving, P. Christiano, D. Amodei）提出了“通过辩论实现 AI 安全”（AI safety via debate）的概念——通过对抗性辩论来训练智能体，其中两个模型作为对手轮流提出简短论点，由人类裁判判断哪一方提供了更真实、更有用的信息。研究者设想，在最优策略下，此类辩论能让 AI 回答极其复杂的问题，而裁判只需评估论点的可信度。在随后的几年里，随着强大的 LLM 的出现，模型间辩论的原则开始被直接应用于提高模型本身的答案质量——不再强制要求人类参与，而是通过自动化方式选择最佳解决方案。现代多智能体 LLM 系统利用相同或不同模型副本之间的对话来纠正彼此的错误，共同得出更合理的结论。

多智能体辩论的流程

在多智能体辩论场景中，多个智能体模型并行处理同一个任务。通常，首先向每个智能体提供初始问题或任务，然后每个智能体独立生成各自的答案。接下来是一系列智能体间的交流回合：在每个回合中，所有参与者分享自己当前的解决方案，每个智能体接收其他智能体的答案作为额外上下文，并在此基础上于下一回合修正或改进自己的答案。这个循环会持续数次迭代（通常是固定的回合数或直到达成明确共识），之后过程停止并给出最终答案。辩论模拟了人类的讨论过程，让模型能够批评彼此的答案，并结合各自的推理能力来提高解决方案的质量。例如，Yilun Du 及其同事（MIT 和 Google Brain）在实验中使用了3个语言模型实例，它们在2个回合内讨论问题（由于时间和计算成本，回合数受到限制）；研究表明，即使在这种有限的对话中，最终答案也明显改善，并且增加智能体或回合数会继续提高准确性（尽管收益递减）。

多智能体辩论的流程完全在推理（inference）阶段通过特殊的提示词来实现，以组织已训练模型之间的对话。这意味着该方法无需对 LLM 本身进行额外训练，甚至可以应用于“黑箱”模型——只需能访问模型的文本生成功能，并按照预设模板协调它们的交流即可。

在几轮辩论后，确定最终答案有多种方法。最简单的一种机制是投票：智能体在最后可以独立提出自己的最终解决方案，然后选择得到多数支持的方案（或者例如，出现频率最高的答案）。另一种方法是要求达成共识，即继续讨论直到所有模型都得出相同的答案。最后，还可以引入一个独立的“裁判”智能体：这可以是一个经过训练用于评估答案的独立神经网络，也可以是其中一个被赋予仲裁功能的智能体。裁判观察讨论过程，并选择谁的论点最令人信服或最正确。决策机制的选择会影响系统的特性：例如，投票或共识易于实现，但可能会固化群体性错误；而裁判评估者（特别是经过训练能识别正确答案的）理论上即使在智能体之间存在矛盾时也能找出正确解。然而，裁判方法也有其难点——例如，如果担任裁判的是与参与者相同的模型，它可能会不自觉地偏向于某个智能体熟悉的论证风格。

智能体与通信的配置方案

基于 LLM 的多智能体系统在智能体的组成和交互方式上可能有所不同。同构配置（homogeneous configuration）意味着所有智能体都是同一模型（或相似水平模型）的副本，而异构配置（heterogeneous）则包含不同类型或大小的模型。在同构情况下，所有参与者能力相当，分歧仅源于答案生成的随机性或不同的初始条件（例如，提示词的差异）。在异构方法中，可以同时使用强模型和弱模型，这使得一些智能体有可能弥补其他智能体的不足。研究表明，不同 LLM 之间的互动会导致较弱的模型在收到较强模型的反馈后改进其解决方案。一个典型的例子是语言模型 ChatGPT (GPT-4) 和 Google Bard 在解决一个数学应用题时的联合辩论：这两个模型单独都给出了错误答案，但在讨论过程中，它们成功地指出了对方的错误，并最终协调得出了正确的解决方案，利用了各自的优势。与此同时，异构性也带来了风险：能力上的显著失衡可能导致某个模型占据主导地位，如果大多数智能体都有共同的误解或错误的偏见，辩论可能迅速收敛到一个统一但错误的答案——这种现象被称为“回音室”效应（echo chamber）。理论分析（Estornell & Liu, NeurIPS 2024）表明，当模型非常相似时，辩论可能会陷入静态动态，即所有参与者都重复多数派的意见，即使该意见基于它们数据中的共同错误。因此，在异构系统中，精心挑选智能体至关重要——例如，选择知识水平相当的模型，以确保没有一个模型会主导或误导其他模型。

另一个方面是智能体之间的通信结构。在基础实现中，采用全连接拓扑（fully-connected topology）的通信方式：在每一轮，每个智能体都会收到所有其他智能体的答案。这种“全体对全体”的交流最大化了可用信息，但也带来了巨大的开销——上下文的体积随智能体数量成比例增长，使计算变得更加繁重。一种替代方案是稀疏拓扑（sparse topology），它限制了每个智能体直接交换数据的对象。例如，可以将智能体排列成网络图（环形、树形等），每个智能体只从其邻居那里接收答案。Google 的一项研究（Li et al., 2024）发现，限制智能体网络的连接性可以在不降低甚至有时提高解决方案质量的情况下，显著减少生成成本，与完全连接的讨论相比。在对 GPT-3.5 和 Mistral 模型的实验中，稀疏的“邻里”讨论方案在各项任务（包括数学）上取得了相同或更高的准确率，同时将每一步的平均上下文令牌数减少了一个数量级。这一结果表明，过度的信息交换并非总是必要的——只需正确组织智能体之间的关键互动，它们就能以更低的成本得出正确解。

除了拓扑结构，还存在不同的辩论形式。例如，可以给不同的智能体分配不同的角色：一些充当“想法生成者”，另一些则充当“批评者”或“解决方案验证者”。这种基于角色的方法试图模仿劳动分工，每个智能体专注于特定任务（例如，一个提出假设，第二个核查事实，第三个评估逻辑一致性）。另一种选择是轮流讨论（round-robin）：智能体不是同时发言，而是严格按顺序轮流发言，按固定顺序扮演发言者和回应者的角色。这类似于正式辩论，按规定给予参与者发言时间，可以确保所有智能体的平等参与。还有一种方法是动态分歧调节：系统可以在每一轮中有意增强或减弱智能体答案之间的分歧程度。例如，可以鼓励在早期阶段答案尽可能多样化（以覆盖不同的假设），而在接近尾声时则趋于一致。Chang（2024）提出了一种这样的机制来防止过早达成共识：它在智能体之间维持适度的矛盾，从而激发新论点的出现和更深入的讨论。

方法的优势与效果

多智能体辩论因其能够提升语言模型在复杂任务上的表现而备受关注。2023-2024年间的一系列独立研究证实，一个互动的 LLM 小组在解决同一任务时，其答案质量能够超越单个模型。具体而言，在需要复杂推理的领域，如数学计算、编程和文本摘要等方面，都显示出了改进。例如，Yin 等人（2023）、Chan 等人（2023）、Chen 等人（2024）及其他研究者指出，多智能体系统在算术任务、代码生成乃至文档摘要方面都稳胜单一 LLM。原因在于视角的多样性：每个智能体都可能注意到其他智能体忽略的细节或错误，并向同伴提供反馈。相互批评和交换不同假设，使得任务得到更全面的审视，从而使最终答案更加准确和可靠。

例如，由 Yilun Du 领导的麻省理工学院和谷歌大脑的研究人员在 ICML 2024 上发表了论文《Improving factuality and reasoning in language models through multiagent debate》，其中展示了在三个模型实例之间增加辩论后，解决方案质量显著提升。根据他们的结果，与常规的单一模型使用相比，多智能体讨论程序在多项任务上取得了更高的指标：数学和策略性任务的解决准确率有所提高，而事实性错误的数量则有所下降。特别是，多智能体方法在数学推理、事实核查甚至需要战略规划的任务测试中都改善了模型的表现。作者指出，“经过这种多轮讨论后生成的最终答案，在事实上更为正确，在解决推理任务方面也更成功”。下面是一张图示，比较了模型单独执行任务和使用多智能体辩论时的准确率。

在多个任务上，单用户生成（蓝色）与多智能体辩论模式（红色）的准确率对比。多智能体方法（multi-agent debate）在不同领域表现出更高的准确率，包括事实性问题（传记）、知识测试 MMLU、国际象棋走法正确性检查、算术表达式求解、小学水平的数学应用题（GSM8K）以及寻找最优国际象棋走法。根据图表数据，辩论尤其增强了模型在复杂战略任务（如寻找国际象棋最优走法）中的能力，并显著减少了在数学计算和事实知识问题上的错误率。

多智能体方法的另一个优势是克服单一模型自我反思的局限性。单一 LLM 常常使用 self-reflection（自我反思）技术，即模型自己评估和修正其最初的答案。然而，研究发现这种方法容易出现“思维退化”（degeneration-of-thought）问题：如果模型对最初的答案深信不疑，在自我检查时便不会产生全新的想法，即使原始解决方案是错误的。换句话说，模型倾向于固守自己想出的第一个解决方案，并排斥其他替代方案。多智能体辩论有助于消除这种影响：多个平等的智能体最初可以提出不同的假设，然后 последовательно 质疑彼此的论点，这 стимулирует 寻找非传统的思路。Tian Liang 及其同事（EMNLP 2024）将其多智能体方案命名为 MAD (Multi-Agent Debate)，并表明它确实鼓励模型的发散性（多样化）思维，并改善了需要深入处理问题的任务结果。在他们的实现中，多个智能体按照“以牙还牙”的原则进行辩论（每个智能体轮流反驳对方的论点），并由一个辅助的裁判来管理讨论并选择最终解决方案。Liang 等人的实验证明了这种方法在复杂测试集上的有效性——在常识翻译（翻译考虑隐藏常识的句子）和反直觉算术（条件看似不合逻辑的数学谜题）任务中，多智能体讨论比标准方法给出了更正确的答案。分析还发现，为获得最佳结果，辩论应自适应地中断，避免过长，并只维持适度的冲突水平——过于激进或过于一致的行为都会降低结果。

多智能体方法不仅在典型的问答任务中有用，它还在其他领域找到了应用，例如用于实现更安全和一致的模型行为。一些研究在内容审核和规则制定任务中使用了智能体辩论：多个 LLM 可以讨论给定的答案在伦理规范上是否可接受，从而在强化学习中为彼此提供反馈。研究指出，辩论能够生成更细致、更合理的评估信号，有助于将模型调整得更安全、更有用。此外，还有人尝试将其扩展到多模态任务——例如，一些智能体描述图像，而另一些则检查描述是否与图片相符。Google（2024）的一项研究表明这种扩展是成功的：多模态方法不仅改善了纯文本任务的结果，也改善了多模态图像理解，展示了“心智社会”的普适性。有趣的是，如前所述，辩论中的互动可以提升较弱模型的水平。例如，当不同能力的 LLM 参与共同讨论时，“较弱的模型通过学习较强模型的成功策略而逐步增强”。因此，多智能体系统不仅解决了既定任务，还充当了一种模型间相互学习的集体机制。

局限性与开放性问题

尽管多智能体辩论具有显著优势，但也面临一系列困难和局限性。主要问题之一是该方法的高资源消耗。组织一场讨论需要多次调用大型模型的文本生成功能：如果有 n 个智能体进行 T 轮讨论，那么对 LLM 的总调用次数将比单次回答增加 n x T 倍。此外，在每一轮中，模型不仅要处理原始问题作为上下文，还要处理之前所有轮次的发言（所有智能体的回答）。因此，随着智能体和轮数的增加，上下文输入量呈指数级增长，导致“上下文爆炸”（context explosion）效应——上下文窗口溢出和处理成本增加。实验证实，即使增加2-3轮讨论，也会显著增加模型需要读取的总上下文令牌数，从而增加响应时间。理论上，增加迭代次数会提高解决方案的质量，但实际上许多研究指出几轮之后收益递减：通常在第二或第三轮达到最大效果，之后的讨论可能导致重复相同的论点，甚至由于上下文过饱和而降低准确性。例如，He 等人（2023）的研究显示，准确率仅在辩论的前两轮有所增长，之后便开始下降；类似地，Liu、Li 及其同事（2024）报告称，质量在约4轮时达到顶峰，之后额外的循环只会造成干扰。因此，确定最佳辩论时长是一项艰巨的任务：过短的讨论可能无法发挥集体智慧的全部潜力，而过长的讨论则可能引发信息噪音和上下文过载。

另一个问题是群体对错误答案达成共识的风险。如果所有智能体都有相似的经验，并且都错误地确信某个事实，它们可能会相互强化这种误解。这就产生了“回音室”效应：在辩论过程中，模型们达成共识，不是因为找到了真相，而是因为它们最初的共同偏见得到了证实。理论研究结果（Estornell & Liu, 2024）指出，在使用相同模型时，辩论可能陷入停滞，只是重复多数派的意见而没有产生新思想。当这个多数派共享一个共同的错误（例如，源于训练数据中的错误）时，情况尤其危险——那么整个讨论的结果都将是错误的。为了克服这个问题，研究人员提出了专门的干预方法（diversity-pruning）：在每一轮中，算法会剔除过于相似的回答，以鼓励智能体生成具有最大信息熵的不同方案。这降低了所有回答都是同一错误的变体的可能性。另一种技巧是“误解反驳”（misconception refutation）：系统试图自动识别智能体的共同假设，并有针对性地挑战其中可能错误的部分。在 Estornell & Liu 的研究中，提出了一套包含三种此类干预措施的组合——除了上述两种，还包括质量剪枝（quality-pruning，即每一步选择最相关和最高质量的论点）——并证明它们的组合显著提高了辩论效率，防止了回音室效应的倾向。

最后，值得注意的是，多智能体讨论的稳定性和可预测性还远未达到理想状态。在一些实验中，辩论导致了不稳定的结果——同一场讨论的不同运行可能会收敛到不同的答案，或者集体答案甚至比没有辩论的单一模型更差。Wang 等人（2024）和 Smit 等人（2023）都独立指出了增加智能体反而降低性能的情况，这表明有益的批评和破坏性的争论之间存在微妙的界限。确定多智能体方法能够保证带来益处的条件，仍然是一个研究课题。开放性问题包括：如何自动决定何时停止辩论并确定答案，以免错失优势或陷入无休止的争论；以及如何集体做出决策——无论是通过投票、共识还是外部裁判——对不同类型的任务最为可靠。此外，多智能体系统的安全性和可控性问题也十分突出：需要确保智能体不会共同生成不良或有毒内容，也不会相互强化有害倾向。这些问题，特别是关于安全性和可扩展性的问题，已被公认为当前具有挑战性的难题。现代综述指出，需要进一步研究开发可靠的讨论停止规则，评估方法在增加智能体和轮数时的可扩展性，并引入能保证集体生成答案可靠性和正确性的方法。解决这些任务将使多智能体辩论成为创建更智能、更安全的人工智能系统的更强大、更通用的工具。

链接

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — 项目主页
• AI safety via debate — OpenAI 原始论文
• Improving Multi-Agent Debate with Sparse Communication Topology — 关于通信优化的论文
• Literature Review Of Multi-Agent Debate For Problem-Solving — 文献综述
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — 关于 MAD 的论文
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — NeurIPS 2024 论文

参考文献

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.