Generated Knowledge Prompting — التوجيه بالمعرفة المولّدة

From Systems analysis wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, أو التوجيه بالمعرفة المولّدة) — هو أسلوب في هندسة الموجّهات، تم تطويره لتحسين قدرة نماذج اللغة الكبيرة (LLM) على حل المهام التي تتطلب استدلالاً واعتماداً على المعرفة الواقعية[1]. الفكرة الأساسية لـ GKP هي جعل النموذج ينفذ المهمة على مرحلتين: أولاً، يولد مجموعة من الحقائق ذات الصلة بموضوع الاستعلام، ثم، بالاعتماد على هذه المعرفة، يصيغ الإجابة النهائية[2].

يتيح هذا النهج لنماذج اللغة الكبيرة تنشيط واستخدام معرفتها الداخلية المُعلَّمة (parameterized)، المشفرة ضمنياً في مليارات المعلمات، ولكنها غالباً ما تكون غير متاحة عند استخدام الاستعلامات القياسية. يحل GKP مشكلة أن النماذج «لا تعرف ما تعرفه»، ويساعدها على ربط الحقائق المتفرقة لبناء استنتاج صحيح[2].

التاريخ والأصل

تم تقديم أسلوب Generated Knowledge Prompting لأول مرة في ورقة بحثية بعنوان «Generated Knowledge Prompting for Commonsense Reasoning»، أعدها فريق من الباحثين بقيادة جياتشنغ ليو (Jiacheng Liu). نُشرت النسخة الأولية من العمل في أرشيف ما قبل الطباعة arXiv في 15 أكتوبر 2021، بينما قُدمت النسخة النهائية في مؤتمر Association for Computational Linguistics (ACL) المرموق في عام 2022[1].

أصبح GKP واحداً من أول وأهم الأساليب التي اقترحت تغيير نموذج التفاعل مع نماذج اللغة الكبيرة، محولاً التركيز من توليد الإجابة في خطوة واحدة إلى عملية معرفية من مرحلتين.

آلية العمل على مرحلتين

تقسم آلية GKP المهمة المعقدة إلى عمليتين فرعيتين أبسط: استخلاص المعلومات ذات الصلة ثم استخدامها للاستدلال.

Knowledge Generation - المرحلة 1: توليد المعرفة

في المرحلة الأولى، يُستخدم نموذج لغوي («مولّد المعرفة») لإنشاء عدة (M) أجزاء من المعرفة ذات الصلة بالسؤال الأصلي. تبدأ هذه العملية باستخدام تقنية التوجيه بالقليل من الأمثلة (few-shot prompting)، حيث يُزوّد النموذج ببضعة أمثلة للتعلم «في السياق».

يمتلك موجّه توليد المعرفة بنية محددة بدقة:

  1. التعليمات: توجيه عام، مثل: «ولّد بعض الحقائق حول الموضوع».
  2. الأمثلة التوضيحية: عدة أزواج «سؤال-معرفة» مكتوبة بواسطة الإنسان. تلعب هذه الأمثلة دوراً حاسماً، حيث تعلم النموذج نوع المعلومات التي تعتبر مفيدة. في الوقت نفسه، يجب ألا تحتوي المعرفة المولّدة على الإجابة نفسها بشكل مباشر.
  3. السؤال الجديد: الاستعلام الأصلي للمستخدم الذي يجب توليد المعرفة له.

لكل سؤال، يتم توليد M من صيغ المعرفة (في البحث الأصلي M=20)، للحصول على مجموعة متنوعة من الحقائق للمرحلة الثانية[1].

Knowledge Integration - المرحلة 2: دمج المعرفة وصياغة الإجابة

في المرحلة الثانية، يُستخدم نموذج لغوي آخر («نموذج الاستدلال»)، والذي يمكن أن يعمل إما في وضع zero-shot أو يمكن ضبطه بدقة (fine-tuned) لمهمة معينة.

تتم عملية الدمج على النحو التالي:

  1. تعزيز الاستعلام: يتم دمج السؤال الأصلي (q) بشكل متسلسل مع كل جزء من أجزاء المعرفة المولّدة (km). ينتج عن ذلك M+1 من الاستعلامات المعززة (بما في ذلك السؤال الأصلي بدون معرفة).
  2. تقييم واختيار الإجابة: يقيّم نموذج الاستدلال الاحتمال الشرطي لكل إجابة ممكنة (a) لكل استعلام معزز. تكون الإجابة النهائية هي الخيار الذي حصل على أعلى تقييم احتمالي في استعلام واحد على الأقل.

تقدم هذه الآلية المكونة من مرحلتين نوعاً من العمليات ما وراء المعرفية: «قبل أن تجيب، فكر وصغ ما تعرفه عن هذا الموضوع».

الفعالية ونتائج الاختبار

تم اختبار فعالية GKP على عدد من مؤشرات الأداء الأكاديمية (benchmarks) لتقييم الاستدلال القائم على الفطرة السليمة. أظهر الأسلوب تحسناً كبيراً في الأداء مقارنة بالنهج الأساسية.

ملخص نتائج GKP على مؤشرات الأداء الرئيسية (بيانات من Liu et al., 2022)[1]
اسم مؤشر الأداء المهمة دقة النموذج الأساسي (%) الدقة مع GKP (%) نسبة التحسن (%)
NumerSense الفطرة السليمة العددية 64.05 72.47 +8.42
CommonsenseQA الفطرة السليمة العامة 39.89 47.26 +7.37
CommonsenseQA 2.0 الفطرة السليمة العامة 70.20 73.03 +2.83
QASC الفطرة السليمة العلمية 76.74 80.33 +3.59

يُلاحظ أكبر تحسن في وضع zero-shot، مما يثبت قدرة GKP على تنشيط المعرفة الداخلية للنموذج بفعالية دون الحاجة إلى ضبط دقيق إضافي.

تحليل مقارن مع التقنيات الأخرى

GKP vs. Chain-of-Thought (CoT) - مقارنة GKP مع سلسلة الفكر (CoT)

يكمن الاختلاف الرئيسي بين GKP و Chain-of-Thought (CoT) في نوع المعلومات المولّدة:

  • GKP يولد معرفة تقريرية (declarative knowledge) — حقائق، تعريفات، afirmaciones sobre el mundo («ماذا»). إنه يزود النموذج بسياق إضافي.
  • CoT يولد معرفة إجرائية (procedural knowledge) — خطوات منطقية، حسابات، تسلسل استنتاجات («كيف»). إنه يزود النموذج بمسار للاستدلال.

وبالتالي، يوفر GKP قاعدة واقعية، بينما يوفر CoT هيكلاً منطقياً للاستدلال[3].

GKP vs. Retrieval-Augmented Generation (RAG) - مقارنة GKP مع التوليد المعزز بالاسترجاع (RAG)

على عكس GKP، يستخدم أسلوب Retrieval-Augmented Generation (RAG) مصادر معرفة خارجية غير مُعلَّمة (non-parametric).

  • GKP يستخدم المعرفة الداخلية التي استوعبها النموذج أثناء التدريب. إنه يجبر النموذج على «تذكُّر» ما يعرفه بالفعل.
  • RAG يستخدم المعرفة الخارجية من قواعد البيانات أو المستندات أو الإنترنت. إنه يجبر النموذج على «البحث» عن المعلومات في العالم الخارجي.

يعتمد الاختيار بين GKP و RAG على المهمة: يكون GKP فعالاً إذا كانت المعرفة المطلوبة شائعة وممثلة جيداً في بيانات التدريب، بينما لا غنى عن RAG للبيانات شديدة التخصص أو الحديثة أو الخاصة.

القيود والمخاطر

  • مشكلة «الهلوسة» (Hallucination): الخطر الرئيسي لـ GKP هو إمكانية توليد حقائق غير صحيحة. إذا ولّد النموذج في المرحلة الأولى afirmación خاطئة، فسيتم اعتبارها صحيحة في المرحلة الثانية، مما يؤدي إلى إجابة واثقة ولكنها خاطئة تماماً.
  • التكاليف الحسابية: يتطلب الأسلوب استدعاءات متعددة لنموذج اللغة الكبير (M+1 استدعاء لاستعلام واحد)، مما يزيد بشكل كبير من زمن الاستجابة (latency) وتكلفة الاستخدام مقارنة بالتوجيه القياسي.
  • صعوبة تصميم الموجّهات: تعتمد فعالية GKP بشكل كبير على جودة أمثلة few-shot، والتي يعد إنشاؤها مهمة غير بسيطة وتتطلب وقتاً وجهداً.

التطور والنهج الهجينة

كانت الأفكار الكامنة وراء GKP حافزاً لتطوير تقنيات توجيه أكثر تعقيداً وموثوقية، مثل:

  • Hint-before-Solving (HSP): وريث فكري مباشر لـ GKP، يطبق مبدأ المرحلتين («المعرفة أولاً، ثم الفعل») ليس على إجابة بسيطة، بل على عملية استدلال أكثر تعقيداً في CoT[4].
  • Verify-and-Edit (VE): إطار عمل هجين يمثل استجابة لمشكلة «الهلوسة» في GKP و CoT. يقوم VE أولاً بتوليد سلسلة من الاستدلالات (مثل CoT)، ثم يتحقق تلقائياً من الحقائق الرئيسية باستخدام بحث خارجي (مثل RAG)، ويقوم بتحرير الاستدلالات قبل توليد الإجابة النهائية[5].

روابط خارجية

المراجع

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

هوامش

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [١]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [٢]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [٣]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [٤]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [٥]
Retrieved from "https://systems-analysis.ru/int/index.php?title=Generated_Knowledge_Prompting_—_التوجيه_بالمعرفة_المولّدة&oldid=8848"