Multi-Agent Debate — マルチエージェントディベート

マルチエージェントディベート（英: multi-agent debate）とは、大規模言語モデル（LLM）の分野におけるアプローチの一つで、複数の対話するエージェント（言語モデルのインスタンス）が、与えられた課題の解決策について共同で議論し、論拠や回答案をやり取りする手法である。このプロセスの目的は、提起された問いに対して、集合的に最も正確で根拠のある回答を生成することにある。このアプローチは、異なるモデルが互いの結論を検証し、補完し合う「心の社会」（society of mind）の考えに基づく。研究では、マルチエージェントによる議論は、単一のモデルで回答を生成する場合と比較して、回答の精度と信頼性を大きく向上させることが示されている。エージェント間のディベートを経て得られた最終的な回答は、通常、より事実に忠実であり、推論を要するタスクをうまく処理できる。特に、この戦略を用いることで、ハルシネーション（存在しない「事実」）の発生が減り、複雑なテスト課題での成功率が向上することが観察されている。

複数のAIをディベートに参加させるという発想は、AIの安全性に関する研究に端を発する。2018年、OpenAIの研究者グループ（G. Irving、P. Christiano、D. Amodei）は、AI safety via debate という概念を提唱した。これは、対戦する2つのモデルが短い主張を交互に述べ、人間の審判がどちらがより真実で有用な情報を提供したかを判断する、敵対的なディベートによってエージェントを訓練するものである。最適な戦略のもとでは、このようなディベートによってAIは極めて複雑な問いにも答えられるようになり、審判は議論の信憑性を評価するだけで済むと想定されていた。その後、強力なLLMの登場に伴い、モデル間のディベートという原則は、モデル自身の回答の質を高めるために直接応用されるようになった。もはや人間の参加は必須ではなく、最良の解決策を自動で選択する仕組みが用いられる。現代のマルチエージェントLLMシステムは、同一モデルの複製や異なるモデル間の対話を通じて、互いの誤りを修正し、共同でより根拠のある結果に到達する。

マルチエージェントディベートの手順

マルチエージェントディベートのシナリオでは、複数のエージェント（モデル）が並行して単一のタスクに取り組む。通常、まず各エージェントに最初の質問またはタスクが与えられ、各エージェントが独立して自身の回答を生成する。次に、エージェント間のコミュニケーションラウンドが複数回行われる。各ラウンドで、すべての参加者は現在の解決策を交換し、各エージェントは他のエージェントの回答を追加のコンテキストとして受け取る。このコンテキストを踏まえて、次のラウンドで自身の回答を見直し、改善する。このサイクルは数回のイテレーション（通常は固定回数のラウンド、または明確な合意に達するまで）繰り返され、その後プロセスは停止して最終的な回答が出力される。ディベートは人間の議論を模倣しており、モデルが互いの回答を批判し、それぞれの推論能力を組み合わせて解決策の質を高めることを可能にする。例えば、Yilun Duら（MITとGoogle Brain）は、実験で3つの言語モデルのインスタンスを用い、2ラウンドにわたって問題を議論させた（ラウンド数を増やすことは時間と計算コストの制約から見送られた）。その結果、このように限られた対話でも最終的な回答は大きく改善され、エージェント数やラウンド数を増やすと、収穫逓減はあるものの精度が向上し続けることが示された。

マルチエージェントディベートの手順は、訓練済みのモデル間の対話を組み立てる専用のプロンプトを用いて、推論（inference）段階だけで実装できる。これは、この手法がLLM自体の追加学習を必要とせず、内部を参照できない「ブラックボックス」のモデルにも適用できることを意味する。モデルのテキスト生成機能にアクセスし、あらかじめ定義したテンプレートに従って各モデル間のやり取りを制御するだけで十分である。

数ラウンド後の最終的な回答を決定するには、さまざまな方法が用いられる。最も単純な仕組みの一つは投票である。各エージェントが最後に独立して最終的な解決策を提案し、過半数が支持した案（あるいは最も多く出現した回答）が選ばれる。別の方法は、コンセンサスを要求するもので、すべてのモデルが同じ回答に到達するまで議論を続ける。さらに、別の審判エージェントを関与させることもできる。これは、回答を評価するために訓練された別のニューラルネットワークか、仲裁役を与えられたエージェントの一つであり、議論の進行を観察して、誰の主張が最も説得力があったか、あるいは正しかったかを選ぶ。意思決定の仕組みをどう選ぶかは、システムの性質に影響する。投票やコンセンサスは実装が容易だが、集団的な誤りを固定化してしまうおそれがある。一方、審判による評価（特に正解を見分けるよう訓練された場合）は、エージェント間に矛盾があっても、理論上は正しい解決策を取り出せる。ただし、審判方式にも難点がある。例えば、参加者と同じモデルが審判を務めると、特定のエージェントが用いる馴染みのある論じ方に無意識のうちに偏ってしまう可能性がある。

エージェントとコミュニケーションの構成バリエーション

LLMを用いたマルチエージェントシステムは、エージェントの構成や相互作用の仕方によって異なる。同種構成は、すべてのエージェントが同一モデル（または同水準のモデル）の複製であることを前提とするのに対し、異種構成は、種類やサイズの異なるモデルを含む。同種構成では、すべての参加者が同等の能力を持ち、意見の相違は回答の確率的な生成や初期条件の違い（例えばプロンプトの違い）からのみ生じる。異種構成では、強力なモデルと弱いモデルを同時に活用でき、一部のエージェントが他のエージェントの弱点を補える可能性がある。研究によれば、異なるLLM間の相互作用によって、弱いモデルはより強力なモデルからフィードバックを得て解決策を改善することが示されている。顕著な例として、ChatGPTとGoogle Bardが数学の文章題を解く際の共同ディベートが挙げられる。両モデルは単独ではそれぞれ誤った回答を出したが、議論の過程で互いの誤りを指摘し合い、最終的にそれぞれの長所を活かして正しい解決策に合意できた。一方、異種構成にはリスクも伴う。能力に著しい不均衡があると一つのモデルが支配的になりかねず、また、エージェントの大多数が共通の誤解や誤ったバイアスを抱えている場合、ディベートは単一の、しかし誤った回答へ急速に収束しうる。この現象は「エコーチェンバー」効果として知られる。理論的な分析（Estornell & Liu, NeurIPS 2024）によれば、互いに非常に類似したモデルの場合、ディベートは膠着状態に陥り、たとえそれが学習データに共通する誤りに基づいていても、すべての参加者が多数派の意見を繰り返すことになりうる。そのため、異種構成のシステムでは、エージェントの慎重な選定が重要となる。例えば、どのモデルも支配的にならず互いを誤らせないよう、同程度の知識水準を持つモデルが選ばれる。

もう一つの側面は、エージェント間のコミュニケーション構造である。基本的な実装では全結合トポロジーが用いられ、各ラウンドで各エージェントが他のすべてのエージェントから回答を受け取る。この「全員対全員」の交換は利用できる情報を最大化する一方、大きなオーバーヘッドを生む。コンテキストの量はエージェント数に応じて増え、計算が重くなる。これに対する代替案が、各エージェントが直接やり取りする相手を制限するスパース（疎）トポロジーである。例えば、エージェントをグラフ（リングやツリーなど）の形に配置し、各エージェントが隣接するエージェントからのみ回答を受け取るようにする。Googleの研究（Li et al., 2024）によれば、エージェントネットワークの結合度を抑えることで、全結合の議論と比べて解決策の質を損なうことなく、時にはむしろ高めながら、生成コストを大幅に削減できることが示された。GPT-3.5およびMistralモデルを用いた実験では、隣接エージェントどうしのスパースな議論は、数学を含むタスクで同等以上の精度を示し、推論タスクでは平均入力トークン数を4割以上削減した。この結果は、過剰なメッセージ交換が常に必要なわけではないことを示唆している。エージェントがより少ないコストで正しい解決策に到達するには、主要な相互作用を適切に設計するだけで十分である。

トポロジーに加えて、ディベートの進行形式にもさまざまなバリエーションがある。例えば、一部のエージェントに異なる役割を割り当てることができる。あるエージェントは「アイデア生成者」として働き、別のエージェントは「批評家」や「検証者」として解決策を評価する。このような役割分担は、各エージェントが特定の作業に特化する分業を模倣しようとするものである（例えば、一人が仮説を提案し、二人目が事実を確認し、三人目が論理的な一貫性を評価する）。別のバリエーションは、順次討論（ラウンドロビン）である。エージェントは同時に発言するのではなく、厳密に順番に発言し、決められた順序で発言者と応答者の役割を交代する。これは、規則に従って発言権が与えられる形式的なディベートに似ており、すべてのエージェントの均等な参加を保証できる。さらに別の方法として、意見の相違を動的に調整するものがある。システムは、各ラウンドでエージェントの回答間の不一致の度合いを意図的に強めたり弱めたりできる。例えば、初期段階では（異なる仮説を出し尽くすために）回答が最大限に分岐するよう促し、終盤に近づくにつれて収束するよう仕向けることができる。このような仕組みは、早すぎる合意を防ぐためにChang（2024）が提案した。これはエージェント間に適度な対立を維持し、新たな論点の出現と、より深い議論を促す。

アプローチの利点と有効性

マルチエージェントディベートは、複雑なタスクで言語モデルの性能を高める能力によって注目を集めている。2023年から2024年にかけて行われた一連の独立した研究は、対話するLLMのグループが、同じタスクに取り組む単一のモデルを品質で上回りうることを確認した。特に、数学的な計算からプログラミング、テキスト要約まで、複雑な推論を要する分野での改善が示されている。例えば、Yinら（2023）、Chanら（2023）、Chenら（2024）などは、マルチエージェントシステムが算術問題、コード生成、さらには文書要約において、単一のLLMを安定して上回ることを指摘している。その理由は視点の多様性にある。各エージェントは、他のエージェントが見落とした細部や誤りに気づき、互いにフィードバックを与えられる。相互の批判と異なる仮説の交換はタスクのより包括的な検討につながり、結果として最終的な回答はより正確で信頼性の高いものになる。

例えば、Yilun Duが率いるMITとGoogle Brainの研究者らは、ICML 2024で論文「Improving Factuality and Reasoning in Language Models through Multiagent Debate」を発表し、3つのモデルインスタンス間でディベートを行わせることで解決策の質が大幅に向上することを実証した。彼らの結果によれば、マルチエージェント議論の手順により、同じモデルを単独で用いる場合と比べて、多くのタスクでより高い性能が得られた。数学的・戦略的なタスクの正答率が向上し、事実誤認の数が減少した。特に、マルチエージェントアプローチは、数学的推論、事実確認、さらには戦略的な計画を要するタスクでモデルの結果を改善した。著者らは、複数ラウンドの議論を経て生成された最終的な回答は、より事実に忠実であり、推論タスクの解決でもより高い成功を収めると述べている。以下は、単独モデルとマルチエージェントディベートを用いた場合の、さまざまなタスクの実行精度を比較した図の説明である。

単独生成（青）とマルチエージェントディベート（赤）について、いくつかのタスクにおける精度を比較したものである。マルチエージェントアプローチ（multi-agent debate）は、事実に関する質問（伝記）、知識テストMMLU、チェスの指し手の正当性の検証、算術式の計算、小学校レベルの数学文章題（GSM8K）、最適なチェスの指し手の発見など、さまざまな領域でより高い精度を示している。図によれば、ディベートは特に複雑な戦略的タスク（例えばチェスの最適手の探索）でモデルの能力を高め、数学的計算や事実知識に関する質問での誤答率を大きく減らす。

マルチエージェントアプローチのもう一つの利点は、単独での自己監視の限界を乗り越えられる点である。単独のLLMは、モデル自身が最初の回答を評価して修正する自己反省（self-reflection）の手法をしばしば用いる。しかし、この方法は「思考の退化」（degeneration-of-thought）と呼ばれる問題に陥りやすいことが分かっている。モデルが最初の回答を信じ込むと、自己検証の段階で、元の解決策が誤っていても根本的に新しい着想を生み出さなくなる。言い換えれば、モデルは最初に思いついた解決策に固執し、代替案を退ける傾向がある。マルチエージェントディベートは、この効果を和らげるのに役立つ。複数の対等なエージェントがまず異なる仮説を提案し、その後、互いの主張に対して順番に反論し合うことで、型にはまらない思考の探求が促される。Tian Liangら（EMNLP 2024）は、彼らのマルチエージェントの枠組みをMAD（Multi-Agent Debate）と名付け、それが実際にモデルの発散的（多様な）思考を促し、深い検討を要するタスクで結果を改善することを示した。彼らの実装では、複数のエージェントが「目には目を」の方針で議論し（それぞれが交互に相手の主張に反論する）、その上位に、議論を取りまとめて最終的な解決策を選ぶ補助的な審判が置かれる。Liangらの実験は、難易度の高いテストセットでこのアプローチの有効性を示した。コモンセンス翻訳（背後の常識を踏まえた文の翻訳）や直感に反する算術（一見不合理な条件を持つ数学パズル）のタスクで、マルチエージェントの議論は標準的な手法よりも正確な回答をもたらした。分析からは、最良の結果を得るには、ディベートを適応的に打ち切って長くなりすぎないようにし、エージェント間に適度な対立を保つことが重要だと明らかになった。過度に攻撃的でも、逆に過度に協調的でも、結果は悪化する。

マルチエージェントアプローチは、典型的な質疑応答タスクだけでなく、他の分野でも有用であることが示されている。例えば、モデルのより安全で一貫した振る舞いのために応用されている。一部の研究では、モデレーションやルール策定のタスクにエージェントのディベートを用いる。複数のLLMが、与えられた回答が倫理基準に照らして許容できるかを議論し、それによって強化学習の際に互いへフィードバックを与える。ディベートは、モデルを安全性と有用性に合わせて調整するうえで役立つ、よりきめ細かく根拠のある評価シグナルを生成できると指摘されている。また、マルチモーダルタスクへの拡張も試みられている。例えば、一部のエージェントが画像を説明し、別のエージェントがその説明と画像が一致するかを検証する、といった形である。Googleの研究（2024）では、この拡張がうまく機能することが示された。マルチモーダルアプローチは、純粋なテキストタスクとマルチモーダルな画像理解の双方で結果を改善し、「心の社会」の汎用性を示した。興味深いことに、前述のとおり、ディベート内の相互作用は、より弱いモデルの水準を引き上げうる。例えば、能力の異なるLLMが共通の議論に加わると、弱いモデルはより強いモデルから有効な戦略を学ぶことで徐々に強化されていく。このように、マルチエージェントシステムは、与えられたタスクを解くだけでなく、モデルどうしが学び合う一種の集団学習の仕組みとしても機能する。

限界と未解決の問題

大きな利点にもかかわらず、マルチエージェントディベートは多くの困難と限界に直面している。主な課題の一つは、このアプローチのリソース消費の大きさである。議論を組み立てるには、大規模モデルに何度もテキスト生成を呼び出す必要がある。n個のエージェントがT回のラウンドに参加する場合、LLMへの総呼び出し回数は、単一の回答と比べてn×T倍に増える。さらに、各ラウンドでモデルは、元の質問だけでなく、前ラウンドのすべての発言（全エージェントの回答）をコンテキストとして処理しなければならない。このため、エージェント数とラウンド数が増えるにつれてコンテキスト入力の量が急激に膨らみ、コンテキストウィンドウの溢れと処理コストの増大、いわゆる「コンテキスト爆発」（context explosion）を引き起こす。実験では、2〜3ラウンド議論を追加するだけでも、モデルが読み込むべき総コンテキストトークン数が大きく増え、応答時間も長くなることが確認されている。理論上はイテレーション数を増やすほど解決策の質は向上するが、実際には多くの研究で数ラウンド以降の収穫逓減が指摘されている。多くの場合、効果が最大になるのは2〜3ラウンド目で、それ以降の議論は同じ主張の繰り返しや、コンテキストの飽和による精度低下につながることさえある。例えばHeら（2023）は、ディベートの2ラウンド目までしか精度が向上せず、その後は低下したと報告している。同様にLiuおよびLiら（2024）は、およそ4ラウンドで品質がピークに達し、それ以上繰り返すとむしろ妨げになると報告している。したがって、ディベートの最適な長さを決めることは容易ではない。短すぎる議論は集合知の潜在力を十分に引き出せず、長すぎる議論は情報ノイズとコンテキストの過負荷を招きかねない。

もう一つの問題は、誤った回答へ集団で合意してしまうリスクである。すべてのエージェントが似たような傾向を持ち、ある事実について誤って確信している場合、互いの誤解を強め合い、エコーチェンバー効果が生じうる。ディベートの過程でモデルはコンセンサスに達するが、それは真実を見つけたからではなく、当初の共通のバイアスが追認された結果である。理論的な結果（Estornell & Liu, 2024）は、同一のモデルの場合、ディベートが停滞し、新しい着想を生まないまま多数派の意見を繰り返しうることを示唆している。特に危険なのは、この多数派が、例えば訓練データに埋め込まれた共通の誤りを共有している場合で、そのときは議論全体の結論が誤ったものになる。この問題を克服するために、専用の介入手法が提案されている。一つは多様性に基づく剪定（diversity-pruning）で、各ラウンドでアルゴリズム的に類似しすぎた回答を取り除き、エージェントが情報エントロピーを最大化するような多様な選択肢を生成するよう促す。これにより、すべての回答が同じ誤りの変形である可能性が下がる。もう一つは誤解の検出と反論（misconception-refutation）で、システムがエージェントに共通する仮定を自動的に特定し、誤っている可能性のあるものに意図的に異議を唱える。Estornell & Liuの研究では、これら2つに加えて品質に基づく剪定（quality-pruning、各ステップで最も関連性が高く質の高い主張を選ぶ）を含む3つの介入が提案され、それらを組み合わせるとディベートの効率が大きく向上し、エコーチェンバーへの傾向を抑えられることが示された。

最後に、マルチエージェント議論の安定性と予測可能性は、まだ理想にはほど遠いことに留意すべきである。一部の実験では、ディベートが不安定な結果をもたらした。同じ議論を別々に実行すると、異なる回答に収束したり、集合的な回答がディベートなしの単一モデルより悪くなったりすることがあった。Wangら（2024）とSmitら（2023）は、エージェントを追加することでかえって性能が悪化する事例を独立に指摘しており、これは有益な批判と破壊的な論争との微妙な境界を示している。マルチエージェントアプローチが確実に有益となる条件を見極めることは、依然として研究課題である。いつディベートを止めて回答を確定するか（利点を逃さず、際限のない議論に陥らないようにするため）を自動的に判断する方法、そしてどのように集団として決定を下すか（投票、コンセンサス、あるいは外部の審判によって）が、さまざまな種類のタスクに対して最も信頼できるのかという問題は未解決である。また、マルチエージェントシステムの安全性と制御可能性の問題も深刻である。エージェントが共同で望ましくない、あるいは有害なコンテンツを生成せず、互いの有害な傾向を増幅させないことを保証する必要がある。これらの問題、とりわけ安全性とスケーラビリティに関するものは、現在も難しい課題と認識されている。近年のレビューでは、議論の信頼できる停止ルールの開発、エージェント数やラウンド数が増えた場合のスケーラビリティの評価、そして集団的に得られた回答の信頼性と正確性を保証する手法の導入について、さらなる研究が必要だと指摘されている。これらの課題を解決できれば、マルチエージェントディベートは、より賢く、より安全な人工知能システムを構築するための、さらに強力で汎用的なツールへと発展していくだろう。

外部リンク

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — プロジェクトページ
• AI safety via debate — OpenAIによる原論文
• Improving Multi-Agent Debate with Sparse Communication Topology — コミュニケーションの最適化に関する論文
• Literature Review Of Multi-Agent Debate For Problem-Solving — 文献レビュー
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — MADに関する論文
• Multi-LLM Debate: Framework, Principals, and Interventions — NeurIPS 2024論文

参考文献

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.