Multi-Agent Debate — マルチエージェントディベート

マルチエージェントディベート（英: multi-agent debate）とは、大規模言語モデル（LLM）の分野におけるアプローチの一つで、複数の対話するエージェント（言語モデルのインスタンス）が与えられた課題の解決策について共同で議論し、議論や回答案を交換する手法です。このプロセスの目的は、提起された問いに対して、集合的に最も正確で根拠のある回答を生成することです。このアプローチは、異なるモデルが互いの結論を検証し、補完し合う「心の社会」の考えに基づいています。研究により、マルチエージェントによる議論は、単一の手法で回答を生成する場合と比較して、回答の精度と信頼性を大幅に向上させることが示されています。エージェント間のディベートを経て得られた最終的な回答は、通常、より事実に忠実であり、推論を必要とするタスクをよりうまく処理できます。特に、この戦略を用いることで、ハルシネーション（存在しない「事実」）の発生が減少し、複雑なテスト課題での成功率が向上することが観察されています。

複数のAIをディベートに参加させるというアイデアは、AIの安全性に関する研究に端を発しています。2018年、OpenAIの研究者グループ（G. Irving、P. Christiano、D. Amodei）は、AI safety via debateという概念を提唱しました。これは、2つのモデルの対戦相手が短い議論を交互に行い、人間の審判がどちらがより真実で有用な情報を提供したかを判断する、敵対的なディベートを通じてエージェントを訓練するというものです。最適な戦略の下では、このようなディベートにより、AIは極めて複雑な問いに答えることが可能になり、審判は議論の信憑性を評価するだけで済むと想定されていました。その後、強力なLLMの登場に伴い、モデル間のディベートという原則は、モデル自身の回答の質を向上させるために直接適用されるようになりました。もはや人間の参加は必須ではなく、最良の解決策を自動で選択する仕組みが用いられています。現代のマルチエージェントLLMシステムは、同一モデルのコピーまたは異なるモデル間の対話を利用して、互いの誤りを修正し、共同でより根拠のある結果に到達します。

マルチエージェントディベートの手順

マルチエージェントディベートのシナリオでは、複数のエージェントモデルが並行して単一のタスクに取り組みます。通常、まず各エージェントに最初の質問またはタスクが与えられ、その後、各エージェントが独立して自身の回答を生成します。次に、エージェント間のコミュニケーションラウンドが複数回行われます。各ラウンドで、すべての参加者は現在の解決策を交換し、各エージェントは他のエージェントの回答を追加のコンテキストとして受け取ります。このコンテキストに基づき、次のラウンドで自身の回答を уточ하거나 개선합니다。このサイクルは数回のイテレーション（通常は固定回数のラウンド、または明確な合意に達するまで）続けられ、その後プロセスは停止し、最終的な回答が出力されます。ディベートは人間の議論を模倣し、モデルが互いの回答を批判し、それぞれの推論スキルを組み合わせて解決策の質を高めることを可能にします。例えば、Yilun Duと同僚（MITおよびGoogle Brain）は、実験で3つの言語モデルのインスタンスを使用し、2ラウンドにわたって問題を議論させました（ラウンド数を増やすことは時間と計算コストのため制限されました）。その結果、このような限られた対話でも最終的な回答が著しく改善され、エージェントやラウンドの数を増やすと、精度は（収穫逓減はあるものの）向上し続けることが示されました。

マルチエージェントディベートの手順は、既に訓練済みのモデル間の対話を構成するための特別なプロンプトを用いて、推論（inference）段階で完全に実装されます。これは、この手法がLLM自体の追加学習を必要とせず、「ブラックボックス」に対しても適用可能であることを意味します。モデルのテキスト生成機能にアクセスし、事前に定義されたテンプレートに従ってそれらのコミュニケーションを調整するだけで十分です。

数ラウンド後の最終的な回答を決定するためには、さまざまなアプローチが用いられます。最も単純なメカニズムの一つは投票です。エージェントは最後に独立して最終的な解決策を提案し、その後、過半数が支持した案（または、例えば最も頻繁に出現した回答）が選択されます。別のアプローチは、コンセンサスを要求することです。つまり、すべてのモデルが同じ回答に到達するまで議論を続けます。最後に、別の審判エージェントを関与させることもできます。これは、回答を評価するために訓練された別のニューラルネットワークか、仲裁者の機能を付与されたエージェントの一人です。審判は議論の進行を観察し、誰の議論が最も説得力があったか、または正しかったかを選択します。意思決定メカニズムの選択は、システムの特性に影響を与えます。投票やコンセンサスは実装が簡単ですが、集団的な誤りを固定化する可能性があります。一方、審判による評価者（特に正解を特定するように訓練された場合）は、エージェント間に矛盾がある場合でも、理論的には正しい解決策を抽出することができます。しかし、審判アプローチにも難点があります。例えば、参加者と同じモデルが審判役を務める場合、無意識のうちにエージェントの一人が用いる馴染みのある議論スタイルに有利に偏る可能性があります。

エージェントとコミュニケーションの構成バリエーション

LLMを用いたマルチエージェントシステムは、エージェントの構成や相互作用の方法によって異なります。同種構成は、すべてのエージェントが同一モデル（または同レベルのモデル）のコピーであることを前提としますが、異種構成は、タイプやサイズの異なるモデルを含みます。同種構成の場合、すべての参加者は同等の能力を持ち、意見の相違は回答の確率的な生成や初期条件の違い（例えばプロンプトの違い）によってのみ生じます。異種構成のアプローチでは、強力なモデルと弱いモデルを同時に活用することができ、一部のエージェントが他のエージェントの欠点を補う可能性があります。研究によると、異なるLLM間の相互作用により、弱いモデルはより強力なモデルからフィードバックを得て、その解決策を改善することが示されています。顕著な例として、言語モデルChatGPT (GPT-4)とGoogle Bardが数学の文章問題を解決する際の共同ディベートが挙げられます。これらのモデルはそれぞれ単独では誤った回答を出しましたが、議論の過程で互いの誤りを指摘し合い、最終的にそれぞれの長所を活かして正しい解決策に合意することができました。同時に、異種構成にはリスクも伴います。能力に著しい不均衡があると、一つのモデルが支配的になる可能性があり、また、もしエージェントの大多数が共通の誤解や誤ったバイアスを持っている場合、ディベートは急速に単一の、しかし誤った回答に収束する可能性があります。この現象は「エコーチェンバー」効果として知られています。理論的分析（Estornell & Liu, NeurIPS 2024）によれば、非常に類似したモデルの場合、ディベートは静的なダイナミクスに陥る可能性があり、すべての参加者が、たとえそれがデータ内の共通の誤りに基づいていたとしても、多数派の意見を繰り返すことになります。そのため、異種構成システムでは、エージェントの慎重な選定が重要です。例えば、どのモデルも支配的にならず、他を誤解させないように、同程度の知識レベルを持つモデルが選ばれます。

もう一つの側面は、エージェント間のコミュニケーション構造です。基本的な実装では、全結合トポロジーが使用されます。各ラウンドで、各エージェントは他のすべてのエージェントから回答を受け取ります。このような「全員対全員」の交換は利用可能な情報を最大化しますが、大きなオーバーヘッドを生じさせます。コンテキストの量はエージェント数に比例して増加し、計算が重くなります。代替案は、各エージェントが直接データを交換する相手を制限するスパース（疎）トポロジーです。例えば、エージェントをグラフネットワーク（リング、ツリーなど）の形で配置し、各エージェントが隣接するエージェントからのみ回答を受け取るようにすることができます。Google社の研究（Li et al., 2024）によると、エージェントネットワークの結合度を制限することで、全結合の議論と比較して、解決策の質を損なうことなく、時には改善しながら、生成コストを大幅に削減できることが明らかになりました。GPT-3.5およびMistralモデルを用いた実験では、スパースな「隣接」議論のスキーマは、数学を含むタスクにおいて同等またはそれ以上の精度を示し、一方でステップごとの平均コンテキストトークン数を1桁削減しました。この結果は、過剰なメッセージ交換が常に必要というわけではないことを示唆しています。エージェントがより少ないコストで正しい解決策に到達するためには、主要な相互作用を適切に組織化するだけで十分です。

トポロジーに加えて、ディベートの進行形式にも様々なバリエーションがあります。例えば、一部のエージェントに異なる役割を割り当てることができます。一部は「アイデア生成者」として機能し、他は「批評家」や「検証者」として解決策を評価します。このような役割分担アプローチは、各エージェントが特定のタスクに特化する分業を模倣しようとします（例：一人が仮説を提案し、二番目が事実を確認し、三番目が論理的な一貫性を評価する）。別のバリエーションは、順次討論（ラウンドロビン）です。エージェントは同時に話すのではなく、厳密に順番に発言し、固定された順序で発言者と応答者の役割を交代します。これは、参加者に規則に従って発言権が与えられる形式的なディベートに似ており、すべてのエージェントの均等な参加を保証することができます。さらに別のアプローチとして、意見の相違の動的調整があります。システムは、各ラウンドでエージェントの回答間の不一致の度合いを意図的に強めたり弱めたりすることができます。例えば、初期段階では（異なる仮説を網羅するために）回答が最大限に分岐することを奨励し、最終段階に近づくにつれて収束するように促すことができます。このようなメカニズムは、早すぎる合意を防ぐためにChang（2024）の研究で提案されました。これは、エージェント間に適度なレベルの矛盾を維持し、新しい議論の出現とより深い議論を促進します。

アプローチの利点と有効性

マルチエージェントディベートは、複雑なタスクにおける言語モデルのパフォーマンスを向上させる能力により注目を集めています。2023年から2024年にかけて行われた一連の独立した研究は、対話するLLMのグループが、同じタスクに取り組む単一のモデルを品質で上回ることができることを確認しました。特に、数学的な計算からプログラミング、テキストの要約まで、複雑な推論を必要とする分野での改善が示されています。例えば、Yinら（2023）、Chanら（2023）、Chenら（2024）などは、マルチエージェントシステムが算術問題、コード生成、さらには文書の要約作成において、単一のLLMを確実に上回ることを指摘しています。その理由は多様な視点にあります。各エージェントは、他のエージェントが見逃した詳細や誤りに気づき、同僚にフィードバックを提供することができます。相互の批判と異なる仮説の交換は、タスクのより包括的な検討につながり、その結果、最終的な回答はより正確で信頼性の高いものになります。

例えば、Yilun Duが率いるMITとGoogle Brainの研究者たちは、ICML 2024で「Improving factuality and reasoning in language models through multiagent debate」という論文を発表し、3つのモデルインスタンス間でディベートを追加することで解決策の質が大幅に向上することを実証しました。彼らの結果によると、マルチエージェント議論の手順により、同じモデルを単独で使用する場合と比較して、多くのタスクでより高いパフォーマンスを達成できました。数学的および戦略的なタスクの解決精度が向上し、事実誤認の数が減少しました。特に、マルチエージェントアプローチは、数学的推論、事実確認、さらには戦略的計画を必要とするタスクにおいてモデルの結果を改善しました。著者らは、「このような複数ラウンドの議論の後に生成された最終的な回答は、事実上より正確であり、推論タスクの解決においてもより成功している」と述べています。以下は、単独モデルとマルチエージェントディベートを使用した際の様々なタスクの実行精度を比較した図の説明です。

単一ユーザー生成（青色）とマルチエージェントディベートモード（赤色）のいくつかのタスクにおける精度の比較。マルチエージェントアプローチ（multi-agent debate）は、事実に関する質問（伝記）、知識テストMMLU、チェスの指し手の正当性検証、算術式の解決、学校レベルの数学文章問題（GSM8K）、最適なチェスの指し手の発見など、様々なドメインでより高い精度を示しています。グラフによると、ディベートは特に複雑な戦略的タスク（例えば、チェスにおける最適な指し手の探索）でモデルの能力を強化し、数学的計算や事実知識に関する質問での誤りの割合を著しく減少させます。

マルチエージェントアプローチのもう一つの利点は、単独の自己監視の限界を克服することです。単独のLLMは、モデル自身が最初の回答を評価し修正するself-reflection（自己反省）技術をしばしば用います。しかし、この方法は「degeneration-of-thought」（思考の退化）という問題に陥りがちであることがわかっています。モデルが最初の回答を信じ込むと、自己検証の際に、元の解決策が誤っていても、根本的に新しいアイデアを生成しなくなるのです。言い換えれば、モデルは最初に思いついた解決策に固執し、代替案を拒絶する傾向があります。マルチエージェントディベートは、この効果を緩和するのに役立ちます。複数の対等なエージェントが最初に異なる仮説を提案し、その後、互いの議論に последовательно 異議を唱えることで、型にはまらない思考の探求を促進します。Tian Liangと同僚（EMNLP 2024）は、彼らのマルチエージェントスキーマをMAD (Multi-Agent Debate)と名付け、それが実際にモデルの発散的（多様な）思考を促進し、問題の深い検討を必要とするタスクで結果を改善することを示しました。彼らの実装では、複数のエージェントが「目には目を」の原則で議論し（それぞれが交互に相手の主張に反論する）、プロセスの上には議論を管理し最終的な解決策を選択する補助的な審判がいます。Liangらの実験は、複雑なテストセットにおいてこのアプローチの有効性を実証しました。コモンセンス翻訳（隠れた常識を考慮した文の翻訳）や直感に反する算術（一見非論理的な条件を持つ数学パズル）のタスクにおいて、マルチエージェントディスカッションは標準的な手法よりも正確な回答をもたらしました。分析により、最良の結果を得るためには、ディベートを適応的に中断し、過度に長くならないようにし、エージェント間の適度な対立レベルを維持することが重要であることも明らかになりました。過度に攻撃的、または逆に過度に協調的な行動は結果を悪化させます。

マルチエージェントアプローチは、典型的な質疑応答タスクだけでなく、他の分野でも有用であることが証明されています。例えば、モデルのより安全で一貫した行動のために応用されています。一部の研究では、モデレーションとルール策定のタスクでエージェントのディベートを利用しています。複数のLLMが、与えられた回答が倫理基準に照らして許容できるかどうかを議論し、それによって強化学習の際に互いにフィードバックを提供します。ディベートは、モデルを安全性と有用性に合わせて調整するのに役立つ、より繊細で根拠のある評価シグナルを生成できることが指摘されています。また、マルチモーダルタスクへの拡張も試みられています。例えば、一部のエージェントが画像を説明し、他のエージェントが説明が画像と一致するかを検証する場合です。Googleの研究（2024）では、この拡張の成功が示されました。マルチモーダルアプローチは、純粋なテキストタスクとマルチモーダル画像理解の両方で結果を改善し、「心の社会」の普遍性を示しました。興味深いことに、前述のように、ディベート内の相互作用は、より弱いモデルのレベルを向上させることができます。例えば、能力の異なるLLMが共通の議論に参加すると、「弱いモデルは、より強いモデルから成功した戦略を学ぶことで徐々に強化される」。このように、マルチエージェントシステムは、与えられたタスクを解決するだけでなく、モデルが互いに学び合う一種の集団学習メカニズムとしても機能します。

限界と未解決の問題

大きな利点にもかかわらず、マルチエージェントディベートは多くの困難と限界に直面しています。主な課題の一つは、このアプローチの高いリソース消費量です。議論を組織するためには、大規模モデルで何度もテキスト生成を呼び出す必要があります。n個のエージェントがT回のラウンドに参加する場合、LLMへの総呼び出し回数は、単一の回答と比較してn x T倍に増加します。さらに、各ラウンドでモデルは、元の質問だけでなく、前のラウンドのすべての発言（全エージェントの回答）をコンテキストとして処理する必要があります。このように、エージェントとラウンドの数が増えるにつれて、コンテキスト入力の量が指数関数的に増大し、context explosion（コンテキスト爆発）という効果、つまりコンテキストウィンドウのオーバーフローと処理コストの増大を引き起こします。実験では、2～3ラウンドの議論を追加するだけでも、モデルが読み込むべき総コンテキストトークン数が大幅に増加し、結果として応答時間も長くなることが確認されています。理論的には、イテレーションの数を増やすと解決策の質が向上しますが、実際には多くの研究で数ラウンド後の収穫逓減が指摘されています。多くの場合、最大の効果は2～3ラウンド目で得られ、それ以降の議論は同じ議論の繰り返しや、コンテキストの飽和による精度の低下につながることさえあります。例えば、Heら（2023）は、ディベートの2ラウンド目までしか精度の向上を示さず、その後は低下しました。同様に、LiuとLiらの同僚（2024）は、約4ラウンドで品質がピークに達し、それ以上のサイクルはむしろ妨げになると報告しています。したがって、ディベートの最適な長さを決定することは容易な課題ではありません。短すぎる議論は集合知のポテンシャルを十分に引き出せないかもしれず、長すぎる議論は情報ノイズとコンテキストの過負荷を引き起こす可能性があります。

もう一つの問題は、誤った回答への集団的合意のリスクです。すべてのエージェントが類似した経験を持ち、ある事実について誤って確信している場合、互いの誤解を強め合う可能性があります。エコーチェンバー効果が発生します。ディベートの過程でモデルはコンセンサスに達しますが、それは真実を見つけたからではなく、最初の共通のバイアスが確認された結果です。理論的な結果（Estornell & Liu, 2024）は、同一モデルの場合、ディベートは停滞に陥り、新しいアイデアを生み出すことなく多数派の意見を繰り返す可能性があることを示唆しています。特に危険なのは、この多数派が、例えば訓練データに埋め込まれた共通の誤りを共有している場合です。その場合、議論全体の結末は誤ったものになります。この問題を克服するために、特別な介入手法（diversity-pruning）が提案されています。各ラウンドで、アルゴリズム的に類似しすぎている回答を排除し、エージェントが情報エントロピーを最大化するような多様な選択肢を生成するように促します。これにより、すべての回答が同じ誤りのバリエーションである可能性が低くなります。別の手法は、誤解の検出と反論（misconception refutation）です。システムは、エージェントの共通の仮定を自動的に特定し、偽である可能性のあるものに意図的に挑戦します。Estornell & Liuの研究では、これら2つに加えてquality-pruning（各ステップで最も関連性が高く質の高い議論を選択する）を含む3つの介入セットが提案され、それらの組み合わせがディベートの効率を著しく向上させ、エコーチェンバーへの傾向を防ぐことが示されました。

最後に、マルチエージェント議論の安定性と予測可能性は、まだ理想にはほど遠いことに注意すべきです。一部の実験では、ディベートが不安定な結果をもたらしました。同じ議論を異なる実行で実行すると、異なる回答に収束したり、集合的な回答がディベートなしの単一モデルよりも悪くなることがありました。Wangら（2024）とSmitら（2023）は、エージェントを追加することがパフォーマンスを悪化させるケースを独立して指摘しており、これは有益な批判と破壊的な論争の間の微妙な境界線を示しています。マルチエージェントアプローチが確実に有益である条件を特定することは、依然として研究対象です。いつディベートを停止し、回答を確定するかを自動的に決定する方法（利点を逃さず、無限の議論に陥らないようにするため）、そしてどのように集団的に決定を下すか（投票、コンセンサス、または外部の審判を通じて）が、さまざまな種類のタスクに対して最も信頼性が高いかという問題は未解決です。また、マルチエージェントシステムの安全性と制御可能性の問題も深刻です。エージェントが共同で望ましくないまたは有害なコンテンツを生成せず、互いの有害な傾向を増幅させないことを確認する必要があります。これらの問題、特に安全性とスケーラビリティに関するものは、今日的で困難な課題として認識されています。現代のレビューでは、議論の信頼性の高い停止ルールの開発、エージェントとラウンドの数が増加した場合のアプローチのスケーラビリティの評価、そして集団的に得られた回答の信頼性と正確性を保証する手法の導入に関するさらなる研究が必要であると指摘されています。これらの課題を解決することで、マルチエージェントディベートは、より賢く、より安全な人工知能システムを構築するための、さらに強力で普遍的なツールへと進化するでしょう。

外部リンク

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — プロジェクトページ
• AI safety via debate — OpenAIによる原論文
• Improving Multi-Agent Debate with Sparse Communication Topology — コミュニケーションの最適化に関する論文
• Literature Review Of Multi-Agent Debate For Problem-Solving — 文献レビュー
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — MADに関する論文
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — NeurIPS 2024論文

参考文献

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.