Prompt engineering — هندسة المُوجِّهات

From Systems analysis wiki
Jump to navigation Jump to search

هندسة المُوجِّهات (Prompt engineering) — هي مجال متخصص في تصميم وتحسين المُوجِّهات (الطلبات) للتفاعل الفعال مع نماذج اللغة الكبيرة (LLM). تؤثر جودة المُوجِّه بشكل مباشر على دقة وملاءمة وأمان استجابة النموذج. يتطور هذا المجال بسرعة، منتقلًا من الاختيار اليدوي للتعليمات إلى إنشاء أنظمة وكيل معقدة واستخدام نماذج ذات آليات تفكير مدمجة.

المبادئ الأساسية وهيكل المُوجِّه

على الرغم من عدم وجود معيار موحد، إلا أن المُوجِّهات الفعالة تُبنى على مناهج مشتركة يقترحها مختلف الباحثين والشركات (مثل الاستراتيجيات الست من OpenAI أو الإرشادات العملية من Anthropic).

  • غالبًا ما يتضمن المُوجِّه الفعال المكونات التالية:
    • الدور (Persona): تحدد سياق وأسلوب سلوك النموذج ("أنت باحث علمي أول...").
    • التعليمات (Instructions): توجيهات واضحة وخطوة بخطوة لما يجب القيام به.
    • السياق (Context): المعلومات الضرورية لأداء المهمة.
    • الأمثلة (Examples): عرض للتنسيق أو الأسلوب المطلوب (few-shot prompting).
    • تنسيق المخرجات (Output Format): تحديد بنية الاستجابة (مثل JSON، Markdown).

Reasoning - تقنيات تحسين الاستدلال

هذه التقنيات تجعل النموذج "يفكر" بطريقة أكثر تنظيمًا.ملاحظة هامة (الانبثاق): فعالية تقنية `Chain‑of‑Thought` تظهر فقط في النماذج الكبيرة (≈100 مليار معلمة فما فوق)، بينما تُظهر النماذج الأصغر تأثيرًا ضئيلًا أو تدهورًا في النتائج.

  • Chain-of-Thought (CoT): تعليمات للنموذج لتوليد سلسلة من الخطوات المنطقية قبل الوصول إلى الإجابة النهائية ("فكر خطوة بخطوة").
  • تنويعات وبدائل لـ CoT:
    • Self-Consistency: توليد عدة سلاسل من التفكير واختيار الإجابة الأكثر تكرارًا عن طريق "التصويت".
    • Tree-of-Thoughts (ToT): استكشاف مسارات تفكير متعددة على شكل شجرة، مع تقييم والعودة إلى الخطوات السابقة.
    • Graph-of-Thought (GoT): تقنية متقدمة لها تطبيقان رئيسيان: أحدهما ينمذج التفكير كرسم بياني لتدفقات منطقية أكثر مرونة (Besta et al.)، والآخر يركز على دمج مسارات التفكير (Yao et al.).
  • آليات التفكير المدمجة (Reasoning Models): يُعلن عن تطوير جيل جديد من النماذج (مثل o1 وo3 من OpenAI) التي تُدرّب أصلاً على سلاسل تفكير داخلية. وهذا يسمح لها بأداء مهام معقدة دون الحاجة إلى توجيهات CoT صريحة.

إدارة السياق والتعامل مع الذاكرة

مع تزايد حجم نوافذ السياق، تظهر تحديات وحلول جديدة.

  • نوافذ السياق (2024-2025):
النموذج أقصى نافذة سياق
Google Gemini 2.0 Pro 2 مليون توكن
Google Gemini 1.5 Pro 2 مليون توكن
Anthropic Claude 3.5 Sonnet ~200 ألف توكن
OpenAI GPT-4o ~128 ألف توكن

بدءًا من مارس 2025، تم تقديم Google Gemini 2.5 Pro بنافذة سياق تبلغ مليون توكن، وتَعِد نسخة Pro-Experimental بـ 2 مليون توكن في مايو 2025.

  • Retrieval-Augmented Generation (RAG): تقنية RAG الكلاسيكية تُكمل المُوجِّه بمعلومات من قواعد بيانات خارجية. تشمل التطبيقات الحديثة ما يلي:
    • GraphRAG: يستخدم الرسوم البيانية المعرفية لاستخراج بيانات أكثر ارتباطًا من الناحية الدلالية.
    • RAG متعدد الوسائط (Multimodal RAG): لا يعمل مع النصوص فقط، بل ومع الصور والصوت والفيديو أيضًا.
    • Agentic RAG: يدمج RAG في دورات عمل الوكيل، حيث يقرر الوكيل بنفسه متى يبحث عن المعلومات وما هي.
  • تقنيات للسياق الطويل: للعمل بكفاءة مع النوافذ الكبيرة، تُستخدم تقنيات متقدمة، وغالبًا ما تكون مملوكة، مثل Cascading KV Cache وInfinite Retrieval.

تقنيات متقدمة: الوكلاء والأدوات

  • استخدام الأدوات (Tool Usage):
    • Function Calling: قدرة مدمجة في النماذج (GPT-4, Claude 3.5) على استدعاء واجهات برمجة التطبيقات (API) الخارجية.
    • Model Context Protocol (MCP): وفقًا لبعض التقارير الأولية (تتطلب تأكيدًا)، يتم تطوير معيار جديد لتوحيد واجهات برمجة تطبيقات الأدوات، بدعم من Microsoft.
  • الوكلاء وأطر العمل (2024-2025):
    • LangChain (v0.3): مع إصدار LangChain v0.3 (سبتمبر 2024)، انتقل إطار العمل بالكامل إلى Pydantic 2 وأوقف دعم Python 3.8 تماشيًا مع تاريخ انتهاء صلاحيته (EOL) في أكتوبر 2024.[1]
    • AutoGen: انتقل بالكامل إلى بنية غير متزامنة وموجهة بالأحداث (actor model).
    • CrewAI: إطار عمل عالي الأداء يكتسب شعبية بسرعة لتنسيق أنظمة الوكلاء المتعددين.
  • منصات بدون كود (No-code): أدوات مثل AutoGen Studio تسمح بإنشاء وتكوين وكلاء معقدين دون كتابة تعليمات برمجية.

تقنيات تقليل الهلوسة

الهلوسة (توليد معلومات غير صحيحة واقعيًا) لا تزال مشكلة رئيسية. وفقًا لبيانات عام 2024، يتراوح مستواها بين 3% و16% لدى النماذج الرائدة، ويُقدر الضرر الاقتصادي الناجم عنها بعشرات المليارات من الدولارات.

  • الأساليب الكلاسيكية: RAG، طلب الاقتباسات، ضبط معلمات التوليد (درجة الحرارة، top-p).
  • النهج الحديثة للمواءمة (Alignment):
    • Constitutional AI (CAI): طريقة اقترحتها Anthropic، حيث يُدرّب النموذج على اتباع مجموعة من المبادئ ("الدستور") باستخدام ردود فعل مولدة بواسطة الذكاء الاصطناعي.
    • Direct Preference Optimization (DPO): بديل أبسط وأكثر فعالية لـ RLHF. تشير أبحاث DPO في النماذج متعددة الوسائط (VLMs) (مثل تقارير الأشعة) إلى انخفاض الهلوسة بمقدار 3 إلى 4.8 مرات.

أنماط المُوجِّهات: الوضع الحالي

لا تزال العديد من الأنماط (Persona, Output Customization) ذات صلة.

  • تتطلب إعادة نظر:
    • Fact Check List Pattern: اعتُبر غير موثوق. فالنماذج لا تجيد التحقق الذاتي من الحقائق عبر التوجيه وتتطلب التكامل مع أنظمة تحقق خارجية.
  • الأنماط الجديدة (2024-2025):
    • Meta-prompting: استخدام نموذج لغة كبير لتوليد وتحسين المُوجِّهات لنموذج لغة كبير آخر.
    • Mixture-of-Experts (MoE) Prompts: إنشاء مُوجِّهات تخاطب ديناميكيًا أجزاء "خبيرة" مختلفة من النموذج.
    • الأنماط متعددة الوسائط: هياكل مُوجِّهات تشمل نصوصًا وصورًا وأنواع بيانات أخرى للطلبات المعقدة.

روابط خارجية

مراجع

  • Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
  • Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
  • Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
  • Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
  • Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
  • Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
  • Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arXiv:2305.18290.
  • Schick, T. et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv:2302.04761.
  • Wang, Y. et al. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
  • Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
  • Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
  • Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [٢].
  • Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
  • Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
  • Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
  • Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.
  • Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.

ملاحظات

  1. «LangChain v0.3». https://python.langchain.com/docs/versions/v0_3/.[١]