Multi-Agent Debate (TH)

การโต้วาทีแบบหลายตัวแทน (อังกฤษ: multi-agent debate) – แนวทางในด้าน โมเดลภาษาขนาดใหญ่ (LLM) ซึ่งตัวแทนหลายตัว (อินสแตนซ์ของโมเดลภาษา) ร่วมกันอภิปรายเพื่อแก้ปัญหาที่กำหนดโดยการแลกเปลี่ยนข้อโต้แย้งและคำตอบ เป้าหมายของกระบวนการดังกล่าวคือการร่วมกันสร้างคำตอบที่ถูกต้องและมีเหตุผลมากที่สุดสำหรับคำถามที่ตั้งไว้ แนวทางนี้ตั้งอยู่บนแนวคิด «สังคมแห่งปัญญา» ซึ่งโมเดลต่าง ๆ ตรวจสอบและเสริมข้อสรุปของกันและกัน การวิจัยแสดงให้เห็นว่าการอภิปรายแบบหลายตัวแทนสามารถเพิ่มความแม่นยำและความน่าเชื่อถือของคำตอบได้อย่างมีนัยสำคัญเมื่อเทียบกับการสร้างคำตอบด้วยวิธีเดียว โดยทั่วไปคำตอบสุดท้ายที่ได้จากการโต้วาทีของตัวแทนจะมีความถูกต้องตามข้อเท็จจริงมากกว่าและสามารถรับมือกับงานที่ต้องใช้การให้เหตุผลได้ดีกว่า โดยเฉพาะอย่างยิ่ง มีการลดลงของภาพหลอน («ข้อเท็จจริง» ที่ไม่มีอยู่จริง) และการเพิ่มขึ้นของความสำเร็จในงานทดสอบที่ซับซ้อนเมื่อใช้กลยุทธ์นี้

แนวคิดของการนำ AI หลายตัวมาโต้วาทีมีรากฐานมาจากงานวิจัยด้านความปลอดภัยของปัญญาประดิษฐ์ ในปี 2018 กลุ่มนักวิจัยจาก OpenAI (G. Irving, P. Christiano, D. Amodei) ได้เสนอแนวคิด AI safety via debate – การฝึกตัวแทนผ่านการโต้วาทีแบบแข่งขัน ซึ่งคู่ต่อสู้โมเดลสองตัวผลัดกันเสนอข้อโต้แย้งสั้น ๆ และผู้ตัดสินที่เป็นมนุษย์จะเป็นผู้ตัดสินว่าฝ่ายใดนำเสนอข้อมูลที่ถูกต้องและเป็นประโยชน์มากกว่า สันนิษฐานว่าด้วยกลยุทธ์ที่เหมาะสม การโต้วาทีดังกล่าวจะช่วยให้ AI ตอบคำถามที่ยากมากได้ โดยผู้ตัดสินเพียงแค่ประเมินความน่าเชื่อถือของข้อโต้แย้ง ในปีต่อมา เมื่อ LLM ที่ทรงพลังเริ่มปรากฏขึ้น หลักการโต้วาทีระหว่างโมเดลก็เริ่มถูกนำมาใช้โดยตรงเพื่อปรับปรุงคุณภาพคำตอบของโมเดลเอง – โดยไม่จำเป็นต้องมีมนุษย์เข้าร่วม แต่ใช้การเลือกคำตอบที่ดีที่สุดแบบอัตโนมัติแทน ระบบ LLM แบบหลายตัวแทนในยุคปัจจุบันใช้การสนทนาระหว่างสำเนาหรือโมเดลต่าง ๆ เพื่อแก้ไขข้อผิดพลาดของกันและกันและร่วมกันบรรลุผลลัพธ์ที่มีเหตุผลมากขึ้น

กระบวนการอภิปรายแบบหลายตัวแทน

ในสถานการณ์การโต้วาทีแบบหลายตัวแทน ตัวแทนโมเดลหลายตัวทำงานบนงานเดียวกันพร้อมกัน โดยทั่วไปในตอนแรกตัวแทนแต่ละตัวจะได้รับคำถามหรืองานเริ่มต้น จากนั้นตัวแทนแต่ละตัวจะสร้างคำตอบของตนเองอย่างอิสระ ต่อมาจะมีการแลกเปลี่ยนหลายรอบระหว่างตัวแทน โดยในแต่ละรอบผู้เข้าร่วมทุกคนจะแลกเปลี่ยนคำตอบปัจจุบันของตน และตัวแทนแต่ละตัวจะได้รับคำตอบของตัวอื่นเป็นบริบทเพิ่มเติม ซึ่งใช้เป็นพื้นฐานในการปรับปรุงหรือพัฒนาคำตอบของตนในรอบถัดไป วงจรนี้ดำเนินต่อไปหลายรอบ (โดยทั่วไปกำหนดจำนวนรอบคงที่หรือจนกว่าจะบรรลุฉันทามติที่ชัดเจน) จากนั้นกระบวนการจะหยุดลงและออกคำตอบสุดท้าย การโต้วาทีจำลองการอภิปรายของมนุษย์ ช่วยให้โมเดลสามารถวิจารณ์คำตอบของกันและกันและผสมผสานทักษะการให้เหตุผลเพื่อปรับปรุงคุณภาพของคำตอบ ตัวอย่างเช่น Yilun Du และเพื่อนร่วมงาน (MIT และ Google Brain) ใช้อินสแตนซ์ของโมเดลภาษา 3 ตัวในการทดลอง ซึ่งอภิปรายปัญหาเป็นเวลา 2 รอบ (จำกัดจำนวนรอบที่มากขึ้นเนื่องจากต้นทุนด้านเวลาและการคำนวณ) และแสดงให้เห็นว่าแม้จะมีการสนทนาที่จำกัดเช่นนี้ คำตอบสุดท้ายก็ดีขึ้นอย่างเห็นได้ชัด และเมื่อเพิ่มจำนวนตัวแทนหรือรอบ ความแม่นยำก็ยังคงเพิ่มขึ้น (แม้ว่าจะมีผลตอบแทนที่ลดลง)

กระบวนการโต้วาทีแบบหลายตัวแทนถูกนำไปใช้อย่างสมบูรณ์ในขั้นตอน inference โดยใช้ prompt พิเศษเพื่อจัดระเบียบการสนทนาระหว่างโมเดลที่ได้รับการฝึกแล้ว ซึ่งหมายความว่าวิธีนี้ไม่จำเป็นต้อง fine-tuning LLM เองและสามารถนำไปใช้กับ «กล่องดำ» ได้ – เพียงแค่มีสิทธิ์เข้าถึงการสร้างข้อความของโมเดลและประสานการสื่อสารของพวกเขาตามเทมเพลตที่กำหนดไว้ล่วงหน้า

สำหรับการกำหนดคำตอบสุดท้ายหลังจากหลายรอบ จะใช้แนวทางต่าง ๆ กัน กลไกที่ง่ายที่สุดประการหนึ่งคือการลงคะแนน: ตัวแทนอาจเสนอคำตอบสุดท้ายของตนอย่างอิสระในตอนท้าย จากนั้นเลือกตัวเลือกที่ได้รับการสนับสนุนจากส่วนใหญ่ (หรือตัวอย่างเช่น คำตอบที่พบบ่อยที่สุด) อีกแนวทางหนึ่งคือการกำหนดฉันทามติ นั่นคือดำเนินการอภิปรายต่อไปจนกว่าโมเดลทุกตัวจะได้คำตอบเดียวกัน สุดท้ายอาจมีตัวแทนผู้ตัดสินเข้ามาเกี่ยวข้อง: ไม่ว่าจะเป็นเครือข่ายประสาทแยกต่างหากที่ได้รับการฝึกให้ประเมินคำตอบ หรือตัวแทนตัวหนึ่งที่มีหน้าที่เป็นอนุญาโตตุลาการ ผู้ตัดสินจะติดตามความคืบหน้าของการอภิปรายและเลือกข้อโต้แย้งที่น่าเชื่อถือหรือถูกต้องที่สุด การเลือกกลไกการตัดสินใจมีผลต่อคุณลักษณะของระบบ: ตัวอย่างเช่น การลงคะแนนหรือฉันทามตินั้นง่ายต่อการนำไปใช้งาน แต่อาจบันทึกข้อผิดพลาดของกลุ่มได้ ในขณะที่ผู้ประเมินแบบผู้ตัดสิน (โดยเฉพาะที่ได้รับการฝึกให้ระบุคำตอบที่ถูกต้อง) มีทฤษฎีที่สามารถดึงคำตอบที่ถูกต้องออกมาได้แม้จะมีความขัดแย้งระหว่างตัวแทน อย่างไรก็ตาม แนวทางผู้ตัดสินก็มีความยากลำบากเช่นกัน – ตัวอย่างเช่น หากโมเดลเดียวกับผู้เข้าร่วมทำหน้าที่เป็นผู้ตัดสิน มันอาจโดยไม่ได้ตั้งใจเอนเอียงไปทางรูปแบบการโต้แย้งที่คุ้นเคยของตัวแทนตัวใดตัวหนึ่ง

รูปแบบการกำหนดค่าตัวแทนและการสื่อสาร

ระบบหลายตัวแทนที่ใช้ LLM อาจแตกต่างกันในองค์ประกอบและวิธีการโต้ตอบของตัวแทน การกำหนดค่าแบบเดียวกัน หมายความว่าตัวแทนทั้งหมดเป็นสำเนาของโมเดลเดียวกัน (หรือโมเดลในระดับที่คล้ายกัน) ในขณะที่การกำหนดค่าแบบต่างกัน ประกอบด้วยโมเดลที่แตกต่างกันตามประเภทหรือขนาด ในกรณีแบบเดียวกัน ผู้เข้าร่วมทุกคนมีความสามารถที่เทียบเคียงกัน และความไม่เห็นด้วยจะเกิดขึ้นจากการสร้างแบบสุ่มหรือเงื่อนไขเริ่มต้นที่ต่างกันเท่านั้น (เช่น ความแตกต่างใน prompt) ในแนวทางแบบต่างกัน สามารถใช้โมเดลที่แข็งแกร่งและอ่อนแอพร้อมกันได้ ซึ่งอาจช่วยให้ตัวแทนบางตัวชดเชยข้อบกพร่องของตัวอื่น ตัวอย่างเช่น การวิจัยแสดงให้เห็นว่าการโต้ตอบของ LLM ต่าง ๆ ทำให้โมเดลที่อ่อนแอกว่าปรับปรุงคำตอบของตนโดยได้รับ feedback จากโมเดลที่แข็งแกร่งกว่า ตัวอย่างที่น่าสังเกตคือการโต้วาทีร่วมกันระหว่างโมเดลภาษา ChatGPT (GPT-4) และ Google Bard ในการแก้ปัญหาคณิตศาสตร์เชิงข้อความ: โมเดลแต่ละตัวให้คำตอบที่ผิดแยกกัน แต่ในระหว่างการอภิปรายพวกเขาสามารถชี้ให้เห็นข้อผิดพลาดของกันและกันและในที่สุดก็บรรลุคำตอบที่ถูกต้อง โดยใช้จุดแข็งของแต่ละตัว ในขณะเดียวกัน ความหลากหลายก็มีความเสี่ยงด้วย: ความไม่สมดุลอย่างมีนัยสำคัญในความสามารถอาจทำให้โมเดลหนึ่งครอบงำ และหากตัวแทนส่วนใหญ่มีความเข้าใจผิดร่วมกันหรือ bias ที่ผิดพลาด การโต้วาทีอาจบรรจบสู่คำตอบเดียวที่ผิดอย่างรวดเร็ว – ซึ่งเป็นปรากฏการณ์ที่เรียกว่าเอฟเฟกต์«ห้องสะท้อนเสียง» การวิเคราะห์เชิงทฤษฎี (Estornell & Liu, NeurIPS 2024) แสดงให้เห็นว่าเมื่อโมเดลมีความคล้ายคลึงกันมาก การโต้วาทีอาจจางลงสู่พลวัตที่นิ่งซึ่งผู้เข้าร่วมทุกคนทำซ้ำความคิดเห็นของส่วนใหญ่ แม้ว่ามันจะอ้างอิงจากข้อผิดพลาดทั่วไปในข้อมูลของพวกเขา ดังนั้นในระบบแบบต่างกัน การเลือกตัวแทนอย่างรอบคอบจึงมีความสำคัญ – ตัวอย่างเช่น เลือกโมเดลที่มีระดับความรู้ที่เทียบเคียงกัน เพื่อไม่ให้ตัวใดตัวหนึ่งครอบงำหรือทำให้ตัวอื่นเข้าใจผิด

อีกแง่มุมหนึ่งคือโครงสร้างการสื่อสารระหว่างตัวแทน ในการนำไปใช้งานพื้นฐาน จะใช้โทโพโลยีแบบเชื่อมต่อครบถ้วนของการสื่อสาร: ในแต่ละรอบตัวแทนแต่ละตัวจะได้รับคำตอบจากตัวแทนอื่นทั้งหมด การแลกเปลี่ยน «ทุกคนต่อทุกคน» นี้เพิ่มข้อมูลที่มีอยู่ให้สูงสุด แต่สร้างต้นทุนที่สำคัญ – ปริมาณบริบทเติบโตตามสัดส่วนของจำนวนตัวแทน ซึ่งทำให้การคำนวณหนักขึ้น ทางเลือกหนึ่งคือโทโพโลยีแบบกระจาย ซึ่งจำกัดว่าตัวแทนแต่ละตัวแลกเปลี่ยนข้อมูลโดยตรงกับใคร ตัวอย่างเช่น ตัวแทนสามารถจัดเรียงในรูปแบบกราฟเครือข่าย (วงแหวน ต้นไม้ ฯลฯ) ซึ่งแต่ละตัวจะได้รับคำตอบจากเพื่อนบ้านเท่านั้น การวิจัยของ Google (Li et al., 2024) พบว่าการจำกัดการเชื่อมต่อของเครือข่ายตัวแทนสามารถลดต้นทุนการสร้างได้อย่างมีนัยสำคัญโดยไม่ลดคุณภาพ และบางครั้งยังปรับปรุงคุณภาพของคำตอบเมื่อเทียบกับการอภิปรายแบบเชื่อมต่อครบถ้วน ในการทดลองกับโมเดล GPT-3.5 และ Mistral โครงการ «เพื่อนบ้าน» แบบกระจายให้ความแม่นยำเท่ากันหรือสูงกว่าในงาน (รวมถึงคณิตศาสตร์) ในขณะที่ลดจำนวน token บริบทเฉลี่ยต่อขั้นตอนได้หนึ่งระดับ ผลลัพธ์นี้ชี้ให้เห็นว่าการแลกเปลี่ยนข้อความที่มากเกินไปไม่ได้จำเป็นเสมอไป – เพียงแค่จัดระเบียบการโต้ตอบหลักระหว่างตัวแทนอย่างถูกต้อง พวกเขาก็สามารถบรรลุคำตอบที่ถูกต้องด้วยต้นทุนที่ต่ำกว่า

นอกจากโทโพโลยีแล้ว ยังมีรูปแบบการโต้วาทีที่หลากหลาย ตัวอย่างเช่น ตัวแทนบางตัวสามารถได้รับมอบหมายบทบาทที่แตกต่างกัน: บางตัวทำหน้าที่เป็น «ผู้สร้างแนวคิด» บางตัวเป็น «ผู้วิจารณ์» หรือ «ผู้ตรวจสอบ» คำตอบ แนวทางบทบาทนี้พยายามเลียนแบบการแบ่งงาน ซึ่งตัวแทนแต่ละตัวเชี่ยวชาญในงานเฉพาะ (ตัวอย่างเช่น ตัวหนึ่งเสนอสมมติฐาน ตัวที่สองตรวจสอบข้อเท็จจริง ตัวที่สามประเมินความสอดคล้องเชิงตรรกะ) อีกทางเลือกหนึ่งคือการอภิปรายตามลำดับ (round-robin): ตัวแทนพูดไม่พร้อมกัน แต่ผลัดกันอย่างเคร่งครัดโดยเปลี่ยนบทบาทของผู้พูดและผู้ตอบสนองในลำดับที่กำหนด ซึ่งคล้ายกับการโต้วาทีอย่างเป็นทางการที่ผู้เข้าร่วมได้รับโอกาสพูดตามกฎ ซึ่งสามารถรับประกันการมีส่วนร่วมอย่างเท่าเทียมกันของตัวแทนทุกตัว อีกแนวทางหนึ่งคือการควบคุมความขัดแย้งแบบไดนามิก: ระบบสามารถเพิ่มหรือลดระดับความไม่เห็นด้วยระหว่างคำตอบของตัวแทนในแต่ละรอบโดยเจตนา ตัวอย่างเช่น อาจส่งเสริมให้คำตอบแตกต่างกันสูงสุดในช่วงแรก (เพื่อครอบคลุมสมมติฐานที่แตกต่างกัน) และเมื่อเข้าใกล้ตอนสุดท้ายก็จะบรรจบกัน กลไกดังกล่าวเสนอในงานวิจัยของ Chang (2024) เพื่อป้องกันการบรรจบก่อนเวลา: มันรักษาระดับความขัดแย้งที่พอเหมาะระหว่างตัวแทน กระตุ้นให้เกิดข้อโต้แย้งใหม่และการอภิปรายที่ลึกซึ้งยิ่งขึ้น

ข้อดีและประสิทธิภาพของแนวทาง

การโต้วาทีแบบหลายตัวแทนได้รับความสนใจเนื่องจากความสามารถในการเพิ่มประสิทธิภาพของโมเดลภาษาในงานที่ซับซ้อน งานวิจัยอิสระหลายชิ้นในช่วงปี 2023-2024 ยืนยันว่ากลุ่ม LLM ที่โต้ตอบกันสามารถให้คำตอบที่มีคุณภาพสูงกว่าโมเดลเดียวที่ทำงานบนงานเดียวกัน โดยเฉพาะอย่างยิ่ง มีการแสดงให้เห็นการปรับปรุงในโดเมนที่ต้องการการให้เหตุผลที่ซับซ้อน: ตั้งแต่การคำนวณทางคณิตศาสตร์ไปจนถึงการเขียนโปรแกรมและการสรุปข้อความ ตัวอย่างเช่น Yin et al. (2023), Chan et al. (2023), Chen et al. (2024) และคนอื่น ๆ สังเกตว่าระบบหลายตัวแทนเอาชนะ LLM เดียวในงานคณิตศาสตร์ การสร้างโค้ด และแม้แต่การสร้างข้อสรุปของเอกสารได้อย่างมั่นใจ เหตุผลคือความหลากหลายของมุมมอง: ตัวแทนแต่ละตัวสามารถสังเกตรายละเอียดหรือข้อผิดพลาดที่ตัวอื่นพลาดไปและให้ feedback แก่เพื่อนร่วมงาน การวิจารณ์ซึ่งกันและกันและการแลกเปลี่ยนสมมติฐานที่แตกต่างกันนำไปสู่การพิจารณางานอย่างครอบคลุมมากขึ้น ทำให้คำตอบสุดท้ายแม่นยำและน่าเชื่อถือมากขึ้น

ตัวอย่างเช่น นักวิจัยจาก MIT และ Google Brain นำโดย Yilun Du ได้นำเสนองาน «Improving factuality and reasoning in language models through multiagent debate» ที่ ICML 2024 ซึ่งแสดงให้เห็นการปรับปรุงคุณภาพของคำตอบอย่างมีนัยสำคัญเมื่อเพิ่มการโต้วาทีระหว่างอินสแตนซ์ของโมเดลสามตัว ตามผลลัพธ์ของพวกเขา กระบวนการอภิปรายแบบหลายตัวแทนช่วยให้บรรลุผลลัพธ์ที่สูงกว่าในงานหลายชิ้นเมื่อเทียบกับการใช้โมเดลเดียวกันตามปกติ: ความแม่นยำในการแก้ปัญหาทางคณิตศาสตร์และเชิงกลยุทธ์เพิ่มขึ้น และ จำนวนข้อผิดพลาดเชิงข้อเท็จจริงลดลง โดยเฉพาะอย่างยิ่ง แนวทางหลายตัวแทนปรับปรุงผลลัพธ์ของโมเดลในการทดสอบการให้เหตุผลทางคณิตศาสตร์ การตรวจสอบข้อเท็จจริง และแม้แต่งานที่ต้องการการวางแผนเชิงกลยุทธ์ ผู้เขียนสังเกตว่า «คำตอบสุดท้ายที่สร้างขึ้นหลังจากการอภิปรายหลายรอบนี้ ทั้งถูกต้องตามข้อเท็จจริงมากขึ้นและประสบความสำเร็จมากขึ้นในการแก้ปัญหาที่ต้องการการให้เหตุผล» ด้านล่างนี้เป็นภาพประกอบที่เปรียบเทียบความแม่นยำในการทำงานต่าง ๆ ของโมเดลเพียงลำพังและโดยใช้การโต้วาทีแบบหลายตัวแทน

การเปรียบเทียบความแม่นยำในงานหลายชิ้นสำหรับการสร้างโดยผู้ใช้คนเดียว (สีน้ำเงิน) และสำหรับโหมดการโต้วาทีแบบหลายตัวแทน (สีแดง) แนวทางหลายตัวแทน (multi-agent debate) แสดงให้เห็นความแม่นยำที่สูงกว่าในโดเมนต่าง ๆ รวมถึงคำถามเชิงข้อเท็จจริง (ชีวประวัติ) การทดสอบความรู้ MMLU การตรวจสอบความถูกต้องของการเดินหมากรุก การแก้นิพจน์เลขคณิต ปัญหาคณิตศาสตร์เชิงข้อความระดับโรงเรียน (GSM8K) และการค้นหาการเดินหมากรุกที่เหมาะสมที่สุด ตามข้อมูลของกราฟ การโต้วาทีเพิ่มความสามารถของโมเดลในงานเชิงกลยุทธ์ที่ซับซ้อนโดยเฉพาะ (เช่น การค้นหาการเดินที่เหมาะสมที่สุดในหมากรุก) และลดสัดส่วนข้อผิดพลาดในการคำนวณทางคณิตศาสตร์และคำถามเกี่ยวกับความรู้เชิงข้อเท็จจริงอย่างเห็นได้ชัด

ข้อดีอีกประการของแนวทางหลายตัวแทนคือการเอาชนะข้อจำกัดของการตรวจสอบตนเองของโมเดลเดียว LLM เดียวมักใช้เทคนิค self-reflection (การสะท้อนตนเอง) ซึ่งโมเดลเองประเมินและแก้ไขคำตอบเริ่มต้นของมัน อย่างไรก็ตาม พบว่าวิธีนี้มีแนวโน้มที่จะเกิดปัญหา «degeneration-of-thought» – การเสื่อมของการคิด: หากโมเดลเชื่อมั่นในคำตอบเริ่มต้น เมื่อตรวจสอบตนเองก็จะไม่สร้างแนวคิดใหม่ที่แตกต่างอย่างมีนัยสำคัญ แม้ว่าคำตอบเริ่มต้นจะผิด กล่าวอีกนัยหนึ่ง โมเดลมีแนวโน้มที่จะติดอยู่กับคำตอบแรกที่คิดขึ้น โดยปฏิเสธทางเลือกอื่น การโต้วาทีแบบหลายตัวแทนช่วยลดผลกระทบนี้: ตัวแทนที่เท่าเทียมกันหลายตัวสามารถเสนอสมมติฐานที่แตกต่างกันในตอนแรกและโต้แย้งข้อโต้แย้งของกันและกันอย่างต่อเนื่อง ซึ่งกระตุ้นการค้นหาแนวคิดที่ไม่ใช่มาตรฐาน Tian Liang และเพื่อนร่วมงาน (EMNLP 2024) ตั้งชื่อโครงการหลายตัวแทนของตนว่า MAD (Multi-Agent Debate) และแสดงให้เห็นว่ามันส่งเสริมการคิดแบบแยกส่วน (หลากหลาย)ของโมเดลและปรับปรุงผลลัพธ์ในงานที่ต้องการการพัฒนาปัญหาเชิงลึก ในการนำไปใช้งานของพวกเขา ตัวแทนหลายตัวโต้เถียงตามหลักการ «ตาต่อตา» (แต่ละตัวผลัดกันเป็นฝ่ายตรงข้ามกับข้อโต้แย้งของอีกตัวหนึ่ง) และมีผู้ตัดสินเสริมที่ดูแลกระบวนการและเลือกคำตอบสุดท้าย การทดลองของ Liang et al. แสดงให้เห็นประสิทธิผลของแนวทางนี้ในชุดทดสอบที่ซับซ้อน – ในงานการแปลเชิงสามัญสำนึก (การแปลประโยคโดยคำนึงถึงสามัญสำนึกที่ซ่อนอยู่) และเลขคณิตที่ขัดกับสัญชาตญาณ (ปริศนาคณิตศาสตร์ที่มีเงื่อนไขที่ดูไม่สมเหตุสมผลในแวบแรก) การอภิปรายแบบหลายตัวแทนให้คำตอบที่ถูกต้องมากกว่าวิธีมาตรฐาน การวิเคราะห์ยังพบว่าเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด ควรหยุดการโต้วาทีแบบปรับตัว โดยไม่ทำให้ยาวเกินไป และรักษาเพียงระดับความขัดแย้งที่พอเหมาะระหว่างตัวแทน – พฤติกรรมที่ก้าวร้าวหรือเห็นด้วยมากเกินไปจะทำให้ผลลัพธ์แย่ลง

แนวทางหลายตัวแทนพิสูจน์แล้วว่ามีประโยชน์ไม่เพียงแต่สำหรับงานถาม-ตอบทั่วไปเท่านั้น แต่ยังพบการประยุกต์ใช้ในด้านอื่น ๆ เช่น เพื่อพฤติกรรมที่ปลอดภัยและสอดคล้องกันมากขึ้นของโมเดล งานวิจัยบางชิ้นใช้การโต้วาทีของตัวแทนในงานการกลั่นกรองและการพัฒนากฎ: LLM หลายตัวสามารถอภิปรายว่าคำตอบที่กำหนดเป็นที่ยอมรับตามมาตรฐานจริยธรรมหรือไม่ จึงให้ feedback ซึ่งกันและกันในระหว่างการเรียนรู้แบบ Reinforcement Learning มีการสังเกตว่าการโต้วาทีสามารถสร้างสัญญาณการประเมินที่ละเอียดอ่อนและมีเหตุผลมากขึ้น ซึ่งช่วยในการปรับแต่งโมเดลเพื่อความปลอดภัยและประโยชน์ใช้สอย นอกจากนี้ยังมีความพยายามที่จะขยายไปสู่งานมัลติโมดัล – ตัวอย่างเช่น เมื่อตัวแทนบางตัวอธิบายรูปภาพและตัวอื่นตรวจสอบความสอดคล้องของคำอธิบายกับรูปภาพ งานวิจัยของ Google (2024) แสดงให้เห็นความสำเร็จของการขยายนี้: แนวทางมัลติโมดัลปรับปรุงผลลัพธ์ทั้งในงานข้อความล้วนและในการทำความเข้าใจรูปภาพแบบมัลติโมดัล แสดงให้เห็นความเป็นสากลของ «สังคมแห่งปัญญา» น่าสนใจที่ว่าการโต้ตอบในกรอบของการโต้วาทีสามารถยกระดับโมเดลที่อ่อนแอกว่าได้ ดังที่กล่าวถึงก่อนหน้านี้ ตัวอย่างเช่น เมื่อ LLM ที่มีพลังงานต่างกันเข้าร่วมในการอภิปรายทั่วไป «โมเดลที่อ่อนแอกว่าจะค่อย ๆ แข็งแกร่งขึ้นโดยรับกลยุทธ์ที่ประสบความสำเร็จจากโมเดลที่แข็งแกร่งกว่า» ดังนั้น ระบบหลายตัวแทนไม่เพียงแต่แก้ปัญหาที่กำหนด แต่ยังทำหน้าที่เป็นกลไกการเรียนรู้แบบกลุ่มของโมเดลจากกันและกัน

ข้อจำกัดและปัญหาที่ยังเปิดอยู่

แม้จะมีข้อดีที่สำคัญ แต่การโต้วาทีแบบหลายตัวแทนก็เผชิญกับความยากลำบากและข้อจำกัดหลายประการ ความท้าทายหลักประการหนึ่งคือความต้องการทรัพยากรสูงของแนวทางนี้ การจัดระเบียบการอภิปรายต้องมีการเรียกใช้การสร้างข้อความของโมเดลขนาดใหญ่หลายครั้ง: หากมีตัวแทน n ตัวใน T รอบ จำนวนการเรียกใช้ LLM ทั้งหมดจะเพิ่มขึ้น n x T เท่าเมื่อเทียบกับการตอบครั้งเดียว นอกจากนี้ในแต่ละรอบโมเดลต้องประมวลผลไม่เพียงแต่คำถามเริ่มต้นเป็นบริบทเท่านั้น แต่ยังรวมถึงคำพูดทั้งหมดจากรอบก่อนหน้า (คำตอบของตัวแทนทั้งหมด) ดังนั้น เมื่อจำนวนตัวแทนและรอบเพิ่มขึ้น ปริมาณอินพุตบริบทจะเพิ่มขึ้นแบบชี้กำลัง ทำให้เกิดเอฟเฟกต์ context explosion – การล้นของหน้าต่างบริบทและการเพิ่มขึ้นของต้นทุนการประมวลผล ในการทดลองพบว่าการเพิ่มแม้แต่ 2-3 รอบของการอภิปรายจะเพิ่มจำนวน token บริบททั้งหมดที่โมเดลต้องอ่านอย่างมีนัยสำคัญ และด้วยเหตุนี้จึงเพิ่มเวลาตอบสนองด้วย ในทางทฤษฎี คุณภาพของคำตอบจะดีขึ้นเมื่อจำนวนรอบเพิ่มขึ้น แต่ในทางปฏิบัติ งานวิจัยหลายชิ้นสังเกตเห็นผลตอบแทนที่ลดลงหลังจากไม่กี่รอบ: บ่อยครั้งผลกระทบสูงสุดบรรลุได้ในรอบที่สองถึงสาม หลังจากนั้นการอภิปรายเพิ่มเติมอาจนำไปสู่การทำซ้ำของข้อโต้แย้งเดิมหรือแม้แต่ความแม่นยำที่ลดลงเนื่องจากบริบทที่อิ่มตัว ตัวอย่างเช่น Hi et al. (2023) แสดงให้เห็นการเพิ่มขึ้นของความแม่นยำเพียงจนถึงรอบที่ 2 ของการโต้วาที จากนั้นก็ลดลง ในทำนองเดียวกัน Liu และ Li พร้อมเพื่อนร่วมงาน (2024) รายงานความคุณภาพสูงสุดที่ ~4 รอบ หลังจากนั้นรอบเพิ่มเติมจะยิ่งขัดขวาง ดังนั้น การกำหนดระยะเวลาการโต้วาทีที่เหมาะสมที่สุด จึงเป็นงานที่ไม่ง่าย: การอภิปรายที่สั้นเกินไปอาจไม่เปิดเผยศักยภาพทั้งหมดของปัญญาส่วนรวม ในขณะที่การอภิปรายที่ยาวเกินไปอาจทำให้เกิดเสียงรบกวนของข้อมูลและการโอเวอร์โหลดบริบท

ปัญหาอีกประการหนึ่งคือความเสี่ยงของการบรรจบกลุ่มสู่คำตอบที่ผิด หากตัวแทนทั้งหมดมีประสบการณ์ที่คล้ายกันและมั่นใจผิด ๆ เกี่ยวกับข้อเท็จจริงบางอย่าง พวกเขาอาจเสริมสร้างความเข้าใจผิดของกันและกัน เกิดเอฟเฟกต์ห้องสะท้อนเสียง: ในระหว่างการโต้วาที โมเดลบรรจบสู่ฉันทามติ แต่ไม่ใช่เพราะพวกเขาพบความจริง แต่เป็นผลมาจากการยืนยัน bias ร่วมกันในตอนแรก ผลลัพธ์เชิงทฤษฎี (Estornell & Liu, 2024) ชี้ให้เห็นว่าด้วยโมเดลที่เหมือนกัน การโต้วาทีอาจตกสู่ภาวะชะงักงัน โดยทำซ้ำความคิดเห็นของส่วนใหญ่โดยไม่มีแนวคิดใหม่ อันตรายเป็นพิเศษเมื่อส่วนใหญ่นี้มีข้อผิดพลาดทั่วไปที่ฝังอยู่ในข้อมูลการฝึก – ในกรณีนั้นผลลัพธ์ของการอภิปรายทั้งหมดจะไม่ถูกต้อง เพื่อเอาชนะปัญหานี้ มีการเสนอวิธีการแทรกแซงพิเศษ (diversity-pruning): ในแต่ละรอบจะมีการตัดคำตอบที่คล้ายกันมากออกอย่างอัลกอริทึม กระตุ้นให้ตัวแทนสร้างตัวเลือกที่แตกต่างกันด้วย entropy ข้อมูลสูงสุด ซึ่งช่วยลดความน่าจะเป็นที่คำตอบทั้งหมดจะเป็นรูปแบบต่าง ๆ ของข้อผิดพลาดเดียวกัน อีกวิธีหนึ่งคือการตรวจจับและหักล้างความเข้าใจผิด (misconception refutation): ระบบพยายามระบุข้อสมมติทั่วไปของตัวแทนโดยอัตโนมัติและโต้แย้งข้อสมมติที่อาจเป็นเท็จโดยตั้งใจ งานของ Estornell & Liu เสนอชุดการแทรกแซงสามประการ – นอกจากที่กล่าวมา ยังรวมถึง quality-pruning (การคัดเลือกข้อโต้แย้งที่เกี่ยวข้องและมีคุณภาพสูงสุดในแต่ละขั้นตอน) – และแสดงให้เห็นว่าการรวมกันของพวกมันช่วยเพิ่มประสิทธิภาพของการโต้วาทีอย่างเห็นได้ชัดและป้องกันแนวโน้มต่อห้องสะท้อนเสียง

สุดท้าย ควรสังเกตว่าความเสถียรและความสามารถคาดเดาได้ของการอภิปรายแบบหลายตัวแทนยังห่างไกลจากอุดมคติ ในบางการทดลอง การโต้วาทีนำไปสู่ผลลัพธ์ที่ไม่เสถียร – การรันซ้ำของการอภิปรายเดียวกันอาจบรรจบสู่คำตอบที่แตกต่างกัน หรือคำตอบรวมกลายเป็นแย่กว่าโมเดลเดียวที่ไม่มีการโต้วาที Wang et al. (2024) และ Smit et al. (2023) ต่างสังเกตเห็นกรณีที่การเพิ่มตัวแทนทำให้ประสิทธิภาพแย่ลง ซึ่งบ่งชี้ถึงขอบเขตที่บางระหว่างการวิจารณ์ที่เป็นประโยชน์และการโต้แย้งที่ทำลายล้าง การระบุเงื่อนไขที่แนวทางหลายตัวแทนรับประกันว่ามีประโยชน์ยังคงเป็นหัวข้อการวิจัย คำถามที่ยังเปิดอยู่ได้แก่: จะตัดสินใจโดยอัตโนมัติอย่างไรว่าเมื่อใดควรหยุดการโต้วาทีและบันทึกคำตอบ เพื่อไม่ให้พลาดข้อดีและไม่เข้าสู่การโต้เถียงที่ไม่สิ้นสุด และวิธีใดในการตัดสินใจร่วมกัน – ไม่ว่าจะผ่านการลงคะแนน ฉันทามติ หรือด้วยความช่วยเหลือของผู้ตัดสินภายนอก – ที่น่าเชื่อถือที่สุดสำหรับงานประเภทต่าง ๆ นอกจากนี้ปัญหาความปลอดภัยและการควบคุมของระบบหลายตัวแทนก็เร่งด่วน: ต้องแน่ใจว่าตัวแทนจะไม่ร่วมกันสร้างเนื้อหาที่ไม่พึงประสงค์หรือเป็นพิษ และไม่เสริมสร้างแนวโน้มที่เป็นอันตรายของกันและกัน คำถามเหล่านี้ โดยเฉพาะที่เกี่ยวกับความปลอดภัยและการขยายขนาด ได้รับการยอมรับว่าเป็นเรื่องเร่งด่วนและซับซ้อน บทวิจารณ์สมัยใหม่สังเกตว่าต้องการการวิจัยเพิ่มเติมที่อุทิศให้กับการพัฒนากฎการหยุดที่น่าเชื่อถือของการอภิปราย การประเมินความสามารถในการขยายขนาดของแนวทางเมื่อจำนวนตัวแทนและรอบเพิ่มขึ้น และการนำวิธีการที่รับประกันความน่าเชื่อถือและความถูกต้องของคำตอบที่ได้รับร่วมกัน การแก้ปัญหาเหล่านี้จะช่วยเปลี่ยนการโต้วาทีแบบหลายตัวแทนให้เป็นเครื่องมือที่ทรงพลังและเป็นสากลยิ่งขึ้นสำหรับการสร้างระบบปัญญาประดิษฐ์ที่ฉลาดและปลอดภัยยิ่งขึ้น

ลิงก์

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — หน้าโครงการ
• AI safety via debate — บทความต้นฉบับของ OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — บทความเกี่ยวกับการปรับปรุงการสื่อสาร
• Literature Review Of Multi-Agent Debate For Problem-Solving — บทวิจารณ์วรรณกรรม
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — บทความเกี่ยวกับ MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — บทความ NeurIPS 2024

วรรณกรรม

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.