Graph of Thoughts — مخطط الأفكار

Graph-of-Thoughts (GoT) هو مفهوم في مجال التعامل مع نماذج اللغة الكبيرة (LLM, Large Language Models)، يقترح تمثيل عملية الاستدلال للنموذج على شكل مخطط اختياري من «الأفكار» المترابطة (خطوات الحل الوسيطة). تم اقتراح هذا النهج من قبل مجموعة من الباحثين بقيادة ماتشي بيستا (Maciej Besta) من المعهد الفدرالي السويسري للتكنولوجيا في زيورخ (ETH Zurich) ونُشر في عام 2024 في مؤتمر AAAI. يهدف Graph-of-Thoughts إلى توسيع إمكانيات هندسة الموجهات (prompt engineering) لتتجاوز الأطر الحالية مثل سلسلة الأفكار (Chain-of-Thought) وشجرة الأفكار (Tree-of-Thoughts). على عكس هذه الأساليب، يسمح نهج GoT لأي جزء من الاستدلال (فكرة) يولده النموذج بالإشارة إلى أي جزء آخر، مما يشكل شبكة من الأفكار بدلاً من بنية خطية أو شجرية صارمة. يؤكد المؤلفون أن هذا يعكس بشكل أدق الطبيعة المعقدة وغير الخطية للتفكير البشري، ويحتمل أن يقرّب آلية استدلال نماذج اللغة الكبيرة من طريقة عمل الدماغ البشري (بفضل روابطه العصبية المتكررة).

Graph-of-Thoughts هو إطار عمل لتكوين الموجهات (prompting framework)، أي أنه لا يتطلب تدريبًا إضافيًا أو ضبطًا دقيقًا للنموذج نفسه — بل ينظم الحوار مع نموذج اللغة الكبير بطريقة خاصة، موجهًا النموذج عبر سلسلة من الخطوات «الأفكار» المرتبطة وفق مخطط بياني. تسمح هذه البنية بدمج فروع مختلفة من الاستدلال وإعادة استخدامها: على سبيل المثال، يمكن للنموذج أن يدرس عدة فرضيات أو أجزاء من المشكلة بالتوازي، ثم يجمع أنجحها في حل واحد. بالأسلوب الموسوعي، يمكن تعريف Graph-of-Thoughts بأنه تعميم للاستراتيجيات السابقة للاستدلال المنظم مع نماذج اللغة الكبيرة، مما يوفر أقصى درجات المرونة في تنظيم عمليات التفكير داخل موجه واحد معقد.

الخلفية: Chain-of-Thought و Tree-of-Thoughts

نشأت طريقة Graph-of-Thoughts من أساليب أقدم تستخدم بنية استدلال واضحة عند التعامل مع نماذج اللغة. النهج الأساسي هو Chain-of-Thought (CoT) – «سلسلة الأفكار». في طريقة CoT، يُقترح على المستخدم تضمين ليس فقط شرط المسألة في الموجه، بل أيضًا خطوات الاستدلال الوسيطة التي تؤدي إلى الإجابة. أظهرت الأبحاث أن هذا الأسلوب في تقديم المعلومات يحسن بشكل كبير من قدرة نماذج اللغة الكبيرة على حل المسائل المعقدة، مثل الألغاز الرياضية أو المنطقية، وذلك دون تغيير معلمات النموذج نفسه. في الواقع، يحفز CoT النموذج على تفكيك مشكلة معقدة خطوة بخطوة إلى مراحل أبسط، محاكيًا بذلك التسلسل الفكري.

كتطور لهذه الفكرة، ظهرت تقنية الاتساق الذاتي (Self-Consistency): بدلاً من توليد سلسلة أفكار واحدة، يتم توليد عدة سلاسل مستقلة، ثم يتم اختيار الأكثر إقناعًا من بينها. يتيح ذلك للنموذج النظر في طرق مختلفة للحل ويقلل من خطر الحصول على إجابة خاطئة بسبب اتباع مسار استدلالي واحد غير صحيح. ومع ذلك، حتى وجود العديد من سلاسل CoT لا يتيح إمكانية «دمج الأفكار»: حيث تُعامل كل سلسلة بشكل منعزل، ويقوم النموذج فقط باختيار الأفضل دون الجمع بين محتوياتها.

للتغلب على هذا القيد، تم اقتراح إطار Tree-of-Thoughts (ToT) – «شجرة الأفكار». في ToT، يتم تنظيم عملية الاستدلال على شكل شجرة: في كل نقطة، يمكن للنموذج توليد عدة خيارات لتطوير الفكرة (تفرعات)، وبعد ذلك يتم تقييم هذه الحالات الوسيطة واختيار الأكثر перспективًا لمزيد من التعمق. باستخدام البحث في الشجرة (مثل البحث بالعرض أولاً - BFS، أو البحث بالعمق أولاً – DFS) وإمكانية العودة إلى العقد وتطوير فرع آخر، تمنح شجرة الأفكار نموذج اللغة آلية أقوى لحل المشكلات المعقدة مقارنة بـ CoT الخطي. تظهر إمكانيات جديدة، مثل التراجع والمراجعة: إذا وصل فرع ما إلى طريق مسدود، يمكن العودة إلى العقدة السابقة وتجربة مسار مختلف. أثبتت هذه المنهجية فعاليتها في حل المشكلات المنطقية والبحثية، حيث يلعب استكشاف الخيارات والتخطيط دورًا كبيرًا.

لكن شجرة الأفكار تفرض أيضًا قيودًا صارمة: كل فكرة (عقدة في الشجرة) تنتمي إلى فرع واحد فقط، ويحدث التفاعل فقط بين العقد الأصل والفرعية، ولا يمكن للفروع المختلفة أن تندمج أو تتبادل المعلومات. بعبارة أخرى، التلاقح المتبادل للأفكار (cross-pollination) بين الفرضيات المختلفة ضمن حل واحد أمر صعب: ففروع الشجرة تتطور بشكل مستقل ولا تتوحد إلا عند الجذر عند اختيار أفضل سلسلة من الاستدلالات. في التفكير الإبداعي أو التحليلي الحقيقي، غالبًا ما يعود الشخص إلى فكرة تم النظر فيها سابقًا ويجمعها مع فرع آخر من الاستدلال. هذا التشابك بين الأفكار يتجاوز بنية الشجرة.

قادت هذه الملاحظات الباحثين إلى فكرة بنية أكثر مرونة – المخطط البياني، حيث لا تكون الروابط بين الأفكار مقيدة ويمكن أن تشكل شبكة معقدة. كما ورد في مراجعة تحليلية لعام 2024، يعكس ظهور سلاسل وأشجار ومخططات الأفكار ولادة فئة جديدة من الأساليب القادرة على تعزيز قدرات نماذج اللغة الكبيرة بشكل كبير من خلال الهيكلة الصريحة لعملية الاستدلال. على وجه الخصوص، سمحت الموجهات المنظمة بتحسين نتائج نماذج اللغة الكبيرة بشكل ملحوظ في العديد من المجالات — من حل المسائل الرياضية والألغاز المنطقية إلى التخطيط وحتى الكتابة الإبداعية. على هذه الخلفية العامة، ظهر إطار Graph-of-Thoughts كخطوة تالية في تطوير أساليب التوجيه المنظم.

مفهوم Graph-of-Thoughts: البنية المخططية للأفكار

يقترح Graph-of-Thoughts تمثيل مسار تنفيذ المهام بواسطة نموذج اللغة على شكل مخطط موجّه اختياري. رسميًا، مخطط الأفكار في GoT هو مجموعة من الرؤوس (الأفكار) والأضلاع (التبعيات بين الأفكار). يمثل كل رأس في المخطط فكرة نموذج منفصلة – ويُقصد بهذا المصطلح أي وحدة ذات معنى تعتمد على سياق المهمة: قد تكون عبارة منفصلة، أو خطوة حل، أو جزءًا من نص، أو فقرة، أو كتلة من التعليمات البرمجية، وما إلى ذلك، يتم تكوينها بواسطة النموذج استجابةً لموجه. يعني الضلع بين رأسين أن إحدى الأفكار قد استُخدمت في توليد فكرة أخرى — أي أنه يُشار صراحةً في الموجه إلى أن النموذج يجب أن يعتمد على نتيجة سابقة معينة للحصول على نتيجة جديدة. وبالتالي، تسجل الأضلاع التبعيات: على أي بيانات تم الحصول عليها سابقًا تعتمد خطوة الاستدلال الحالية.

أهم ما يميز GoT عن الهياكل الأبسط هو إمكانية تجميع ودمج الأفكار. في المخطط، يُسمح بأن يكون للرأس (الفكرة الجديدة) عدة أسلاف. يتوافق هذا مع الحالة التي يتم فيها دمج سلسلتين أو أكثر من سلاسل الاستدلال المنفصلة: يتلقى النموذج كمدخلات عدة أجزاء تم إنشاؤها مسبقًا، وعلى أساسها يشكل مخرجًا مركبًا. على سبيل المثال، عند حل مشكلة، يمكن للنموذج أن ينظر بالتوازي في فرضيتين، ثم ينشئ فكرة جديدة تجمع بين الجوانب الإيجابية لكلتا الفرضيتين وتزيل عيوبهما. كانت عمليات التجميع هذه مستحيلة ضمن إطار الشجرة (حيث لكل عقدة أصل واحد فقط)، ولكنها تُنفذ بشكل طبيعي في المخطط. بالإضافة إلى دمج الأفكار، يسمح المخطط أيضًا بإدخال حلقات التغذية الراجعة (feedback loops): من حيث المبدأ، لا تمنع بنية GoT الدورات، أي يمكن للنموذج إعادة نتيجة معينة إلى مرحلة سابقة من الاستدلال لإعادة معالجتها أو توضيحها. يربط المؤلفون هذا بالتشابه مع الروابط المتكررة في الشبكات العصبية للدماغ، حيث يمكن لمخرجات مجموعة من الخلايا العصبية أن تؤثر مرة أخرى على الطبقات السابقة، مما يشكل دوائر تفكير مغلقة.

من الناحية العملية، يتطلب تنفيذ Graph-of-Thoughts تنظيمًا خاصًا للحوار مع النموذج. طور الباحثون إطارًا معماريًا معياريًا لـ GoT. يميز هذا الإطار مكونات لـ: (1) التحكم الدقيق في الخطوات الفردية (الأفكار) — حيث يدير «المتحكم» ترتيب ومنطق توليد الأفكار؛ (2) التشكيل الديناميكي للموجهات — لكل خطوة، تقوم وحدة خاصة بتكوين موجه بناءً على السياق الحالي ورؤوس المخطط المختارة (الأسلاف)؛ (3) تحليل وتقييم استجابات النموذج — يتم تحليل الأجزاء التي تم الحصول عليها من نموذج اللغة الكبير وتقييمها من حيث الجودة أو الفائدة أو المطابقة لمعايير المهمة. وبالتالي، تسمح بنية GoT ببناء مخطط استدلال بشكل تفاعلي: بعد كل خطوة، يتم اتخاذ قرار بشأن الرؤوس الجديدة التي يجب إضافتها، وكيفية ربطها بالرؤوس السابقة، وأي الفروع يجب متابعتها أو دمجها. بفضل الطبيعة المعيارية، يمكن توسيع هذا الإطار بأنواع جديدة من «تحويلات الأفكار» (على سبيل المثال، عمليات خاصة بالمخطط) وتكييفه مع نماذج مختلفة (اختبر المؤلفون بنجاح GoT مع نماذج LLM من عائلات GPT-3.5 و GPT-4 و LLAMA 2 وغيرها). من الخصائص المهمة أن GoT لا يتطلب تغيير معلمات نموذج اللغة نفسه — كل التحسينات تتحقق من خلال بناء الموجهات ومعالجة الإجابات بذكاء أكبر. هذا يعني أنه يمكن استخدام نماذج LLM القوية الحالية «كما هي»، بينما يلعب Graph-of-Thoughts دور طبقة إضافية تدير عملها.

تجدر الإشارة إلى أن مصطلح Graph-of-Thought ظهر أيضًا في تطوير آخر مستقل، يختلف عن نهج بيستا وزملائه. في عام 2023، اقترح ياو ياو ومؤلفون مشاركون طريقة لتحسين الاستدلال في نماذج اللغة الكبيرة من خلال وحدة إضافية لتشفير مخطط الأفكار، وهو ما تطلب إعادة تدريب النموذج. يصف عملهم بعنوان «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» بنية من مرحلتين: أولاً، يتم إنشاء مخطط من العبارات الوسيطة المترابطة، ثم يتم تحويله بواسطة مشفر خاص ودمجه في النموذج عبر آلية gated fusion. أظهر هذا النهج الهجين مع التدريب زيادة طفيفة في الدقة في بعض المهام، على سبيل المثال، في مجموعة الأسئلة متعددة الوسائط ScienceQA، زادت الدقة من 85.2% إلى 87.6% عند استخدام نموذج T5-base. ومع ذلك، يختلف هذا النهج، على الرغم من تشابهه في الاسم، اختلافًا جوهريًا: فهو يتطلب تغيير النموذج (fine-tuning) وليس إطارًا لهندسة الموجهات. يشير مؤلفو نهج GoT الأصلي (AAAI 2024) صراحةً إلى أنهم لا يأخذون في الاعتبار في عملهم نموذج ياو وآخرين، لأنهم يركزون تحديدًا على الأساليب التي لا تتطلب تحديث معلمات LLM. وهكذا، فإن Graph-of-Thoughts في سياق هذه المراجعة هو تحديدًا إطار عمل على مستوى الموجهات، وليس تعديلاً على بنية الشبكة العصبية.

التطبيقات والنتائج

أظهر مؤلفو GoT مزاياه في عدد من المهام التي يصعب حلها باستخدام موجه مباشر واحد (input-output prompting) أو حتى مع سلسلة أفكار. السمة المميزة لهذه المهام هي إمكانية تفكيكها إلى عدة أجزاء (مهام فرعية)، وحل هذه الأجزاء بشكل منفصل، ثم تجميع الإجابة الكاملة من النتائج الجزئية. من بين الأمثلة التي تم تناولها: الفرز لقائمة غير مرتبة، وعد الكلمات الرئيسية في نص (على سبيل المثال، لتلخيص مستند)، وتنفيذ عمليات على المجموعات (اتحاد، تقاطع القوائم، إلخ)، وكذلك دمج المستندات النصية (دمج المعلومات من عدة مصادر). في جميع هذه الحالات، يسمح Graph-of-Thoughts بـتفكيك المهمة بشكل طبيعي. على سبيل المثال، لفرز قائمة، يتم تقسيمها إلى أجزاء، ويتم فرز كل جزء بشكل منفصل كفرع مستقل من الأفكار، وبعد ذلك يتم دمج النتائج (محاكاة خوارزمية مثل الفرز بالدمج merge sort)؛ أو عند تحليل النصوص، يمكن للنموذج استخلاص المعلومات من مستندات مختلفة بالتوازي، ثم تجميعها معًا.

تؤكد النتائج التجريبية فعالية إطار GoT. وفقًا لتقرير بيستا وزملائه، في مهمة الفرز، سمح مخطط الأفكار بزيادة جودة الحل بشكل كبير مقارنة بالأساليب السابقة. وهكذا، كانت دقة الفرز عند استخدام GoT أعلى بنسبة 70% مقارنة بسلسلة الأفكار البسيطة CoT، وأعلى بنسبة 62% مقارنة بشجرة الأفكار ToT. في الوقت نفسه، يقلل الأسلوب من تكاليف الموارد الحاسوبية: انخفض عدد الاستدعاءات للنموذج (وبالتالي، حجم الموجهات المرمزة) بنسبة 31% مقارنة بـ Tree-of-Thoughts لنفس المهمة. هذا يعني أن التنظيم البياني للاستدلال لم يحسن النتيجة النهائية فحسب، بل جعل الحل أكثر اقتصادًا، متجنبًا الحسابات الزائدة من خلال الجمع الذكي بين الاستنتاجات الوسيطة. تم الحصول على مكاسب مماثلة في مهام اختبار أخرى، خاصة تلك التي تتطلب تجميع معلومات متنوعة. يلاحظ الباحثون أن GoT هو الأكثر فعالية تحديدًا في المهام المركبة التي تتكون من عدة عناصر: «Graph-of-Thoughts مناسب بشكل خاص للمهام التي يمكن تفكيكها بشكل طبيعي إلى مهام فرعية أصغر، يتم حلها بشكل منفصل ثم يتم دمج نتائجها». في مثل هذه الحالات، يكون مخطط الأفكار قادرًا على تغطية جميع جوانب المشكلة وتجميع حل أكثر اكتمالاً مما لو تم اتباع مسار واحد للاستدلال.

لفهم أعمق لسبب تفوق طريقة بناء موجهات على أخرى، تم اقتراح مقياس خاص في عمل عام 2024 – «حجم الفكرة» (volume of a thought). يُعرَّف الحجم لكل فكرة فردية (رأس في المخطط) على أنه عدد الأفكار الأخرى التي يمكن الوصول منها إلى هذه الفكرة عبر الأضلاع الموجهة (ببساطة، عدد الخطوات الوسيطة التي تدين لها بمعلوماتها). في Chain-of-Thought، تعتمد أي فكرة على سلف واحد فقط، لذا فإن حجمها يساوي 1 (سلسلة خطية). في شجرة الأفكار، يمكن أن يكون الحجم أكبر، ولكنه لا يزال محدودًا ببنية فرع فردي. أما في المخطط، فبفضل التجميع، يمكن لرأس واحد أن يجمع مساهمات من العديد من الرؤوس الأخرى — ويكون «حجمه» أعلى بكثير. لقد ثبت أن GoT يسمح للاستنتاجات النهائية بالاعتماد على حجم أكبر بكثير من الأفكار السابقة، مما يدمج محتواها. تعكس هذه الحقيقة تغطية أعمق لمساحة الحلول وتعمل كتفسير كمي لمزايا الاستدلال البياني على الأطر الأبسط.

المقارنة والأهمية

يمثل Graph-of-Thoughts حتى الآن الشكل الأكثر تعميمًا للتوجيه المنظم (structured prompting) لنماذج اللغة الكبيرة. في جداول مقارنة الأطر المختلفة (CoT، CoT مع الاتساق الذاتي، ToT و GoT)، يتم التأكيد على أن GoT فقط هو الذي يدعم طوبولوجيا عشوائية لعملية التفكير. فهو يتضمن إمكانيات جميع الأساليب السابقة: يمكنه العمل كسلسلة واحدة، أو كشجرة ذات تفرعات، أو كمزيج من سلاسل متعددة، إذا كان ذلك مناسبًا لحل المهمة. الأهم من ذلك، أنه لا توجد قيود صارمة على العلاقة بين الخطوات، مما يجعل من الناحية النظرية مساحة استراتيجيات الاستدلال الممكنة واسعة إلى أقصى حد.

من المهم أن نفهم أن مرونة GoT تأتي على حساب زيادة تعقيد التحكم. يتطلب تنفيذ مخطط الأفكار خوارزمية تنظيمية (orchestrator) خارجية تقرر متى وأي الأفكار يجب توليدها، وأيها يجب اختيارها أو دمجها، ومتى يجب إيقاف العملية وتقديم الإجابة. في CoT البسيط، لا يلزم اتخاذ مثل هذه القرارات — فالنموذج نفسه يولد استدلالًا خطيًا حتى النهاية. في ToT، يقع جزء من التحكم على عاتق خوارزمية البحث في الشجرة (على سبيل المثال، اختيار عقدة للتوسع). أما في GoT، فإن درجة الحرية أعلى، وتعتمد فعالية الطريقة على جودة الاستدلالات التي تقيّم النتائج الوسيطة وعلى البناء الصحيح للموجهات في كل خطوة. وبالتالي، يمكن اعتبار Graph-of-Thoughts ليس مجرد تنسيق للموجهات، بل بنية للاستدلال تُفرض على عملية التفاعل مع نموذج اللغة الكبير — نوع من الخطة الديناميكية التي يحل النموذج من خلالها المهمة، بينما يوجه المستخدم (أو البرنامج المتحكم) هذه العملية.

يعكس ظهور Graph-of-Thoughts السعي لجعل عمل نماذج اللغة الكبيرة أكثر قابلية للتفسير والتحكم. من خلال تحديد بنية الحل بشكل صريح، لا يحقق الباحثون جودة أفضل فحسب، بل يكتسبون أيضًا القدرة على تحليل كيفية توصل النموذج إلى استنتاج معين. هذا يقرّب الأساليب في معالجة اللغات الطبيعية من الأساليب الكلاسيكية للبحث الخوارزمي والتخطيط، ولكن الآن يتم إسناد تنفيذ الخطوات إلى نموذج شبكة عصبية. ينظر عدد من الخبراء إلى الموجهات المنظمة (سلاسل، أشجار، مخططات الأفكار) كاتجاه واعد قادر على التغلب على قيود «الصندوق الأسود» في النماذج العميقة وزيادة موثوقية عملها في المهام المعقدة.

تستمر منهجية Graph-of-Thoughts في التطور بنشاط. قام المؤلفون بإتاحة الكود والأمثلة لتنفيذ GoT كمصدر مفتوح، مما سمح للمجتمع بتجربة النهج الجديد. تظهر أيضًا توسعات: على سبيل المثال، إصدارات متعددة الوسائط من مخطط الأفكار، التي تجمع بين النص والصور وأنواع أخرى من البيانات، بالإضافة إلى محاولات لدمج أفكار GoT مباشرة في بنية النماذج (كما في عمل Yao et al., 2023 المذكور). في عام 2025، صدرت مراجعة تصنيفية مفصلة لأساليب Chain-of-Thought و Tree-of-Thoughts و Graph-of-Thoughts، والتي تنظم المعرفة المتراكمة وتصف الأسس النظرية لهذه الأساليب. كل هذا يشير إلى اهتمام كبير من المجتمع العلمي بالتحكم المنظم في تفكير نماذج اللغة الكبيرة. لقد أثبت Graph-of-Thoughts نفسه بالفعل كأداة فعالة لحل المشكلات المعقدة، ومن المرجح أن يصبح أساسًا للابتكارات المستقبلية في مجال حلول الذكاء الاصطناعي التي تجمع بين قوة نماذج اللغة الكبيرة وشفافية ومنطق الخوارزميات الكلاسيكية.

روابط

• المقالة الأصلية «Graph of Thoughts: Solving Elaborate Problems with Large Language Models» على arXiv
• نسخة HTML من المقالة الأصلية
• ورقة المراجعة «Demystifying Chains, Trees, and Graphs of Thoughts» على arXiv
• مقالة «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» على arXiv
• Multimodal Graph-of-Thoughts — مقالة من Deepgram
• LLMs Graph of Thoughts Framework — مقالة على Medium

المراجع

• Besta, M. et al. (2024). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Yao, Y. et al. (2023). Beyond Chain-of-Thought: Effective Graph-of-Thought Reasoning in Language Models. arXiv:2305.16582.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2024). Demystifying Chains, Trees, and Graphs of Thoughts. arXiv:2401.14295.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467.