Automatic Prompt Engineer (APE) — مهندس المُوجِّهات الآلي
Automatic Prompt Engineer (APE) هي منهجية للتوليد والتحسين الآلي للتعليمات النصية (المُوجِّهات) بهدف التحكم في سلوك نماذج اللغة الكبيرة (LLM). وقد اقترح هذا النهج في عام 2022 مجموعة من الباحثين بقيادة يونغتشاو تشو (Yongchao Zhou)[1].
بدلاً من الاختيار اليدوي والتحسين التكراري للمُوجِّهات، يقوم APE بصياغة هندسة المُوجِّهات بشكل رسمي كمهمة أمثَلة. وفي إطار هذه المهمة، يُعتبر المُوجِّه بمثابة "برنامج" باللغة الطبيعية يجب إنشاؤه لتعظيم دالة جودة معينة (مثل دقة أو موثوقية إجابات النموذج)[2].
المفهوم الأساسي والمنهجية
تستخدم منهجية APE نموذجي لغة معًا: نموذج مُولِّد ونموذج مستهدف. وتتكون العملية من دورة تكرارية للبحث والاختيار (search-and-select):
- توليد المُرشَّحات. يتلقى النموذج المُولِّد عدة أمثلة لأزواج "مدخلات-مخرجات" للمهمة المستهدفة، وبناءً عليها، يُنشئ مجموعة من المُوجِّهات المُرشَّحة المحتملة التي قد تؤدي إلى هذه النتائج.
- التقييم. يُمرَّر كل مُوجِّه مُرشَّح تم إنشاؤه إلى نموذج LLM المستهدف. يقوم النموذج المستهدف بتنفيذ التعليمات على مجموعة جديدة من بيانات الاختبار، وتُقيَّم إجاباته وفقًا لمقياس محدد مسبقًا (مثل الدقة، الاكتمال، مقياس F1).
- الاختيار. يتم اختيار المُوجِّه الذي أظهر أفضل أداء بناءً على نتائج التقييم.
- التكرار (اختياري). يمكن تكرار الدورة. يتلقى النموذج المُولِّد أمرًا بتحسين أفضل مُوجِّه تم العثور عليه، وإنشاء تنويعات منه، وبعد ذلك تتكرر عملية التقييم والاختيار لتحقيق أقصى قدر من الكفاءة[1].
يتيح هذا النهج استنساخ عملية الاختيار اليدوي للمُوجِّهات آليًا، باستخدام نماذج اللغة الكبيرة لتوليد الفرضيات (المُوجِّهات) وتقييمها لاحقًا.
المنهجيات الرئيسية
تتحقق أتمتة هندسة المُوجِّهات باستخدام أساليب خوارزمية متنوعة.
الأتمتة القائمة على LLM
هذه هي الطريقة الكلاسيكية لـ APE، الموضحة أعلاه، حيث يُستخدم نموذج LLM واحد لتوليد وتقييم المُوجِّهات لنموذج LLM آخر (أو لنفس النموذج). وقد أثبت هذا النهج فعاليته العالية للمُوجِّهات النصية المتقطعة[1].
الأساليب التطورية
تُستخدم الخوارزميات الجينية أو البحث الشعاعي (beam search) لإنشاء واختيار المُوجِّهات، خاصة الطويلة والمعقدة منها. على سبيل المثال، يطبق إطار العمل APEX (Automatic Engineering of Long Prompts) الخوارزميات التطورية من أجل "تنمية" وتحسين التعليمات المعقدة تدريجيًا[3].
الأساليب التدرجية (Soft Prompts)
يعمل هذا النهج مع المُوجِّهات المستمرة أو الناعمة (soft prompts)، وهي عبارة عن متجهات قابلة للتدريب (تضمينات) بدلاً من تعليمات نصية. يتم تحسين هذه المتجهات باستخدام الانحدار التدرجي مباشرة على المهمة المستهدفة. وتشمل هذه الفئة تقنيات مثل Prompt Tuning و Prefix-Tuning.
التعلم المعزز
في هذا النموذج، يعمل LLM كوكيل يقوم بتوليد مُوجِّه (إجراء)، بينما تُعيد البيئة تقييمًا لجودة الإجابة (مكافأة). الهدف هو تعظيم المكافأة التراكمية من خلال إيجاد الاستراتيجية المثلى لتوليد المُوجِّهات عبر أساليب التعلم المعزز (RL)[2].
النتائج والاكتشافات
أظهرت التجارب التي أُجريت في إطار البحث الأصلي لـ APE أن التعليمات التي يتم إنشاؤها آليًا تتفوق في معظم الحالات على المُوجِّهات التي يكتبها البشر من حيث الجودة.
- خلال الاختبار على 24 مهمة في معالجة اللغة الطبيعية (NLP)، أنتج APE مُوجِّهات كانت أكثر فعالية من تلك التي وضعها البشر في 19 حالة من أصل 24[1].
- تمكن APE من "اكتشاف" صياغة أكثر فعالية للتوجيه بأسلوب سلسلة الفكر (Chain-of-Thought) آليًا. فبدلاً من العبارة القياسية «Let's think step by step» (دعنا نفكر خطوة بخطوة)، أنتج APE تعليمة أكثر تفصيلاً وفعالية: «Let's work this out in a step by step way to be sure we have the right answer» (دعنا نعمل على حل هذا خطوة بخطوة للتأكد من أن لدينا الإجابة الصحيحة). وقد أدت هذه الصياغة إلى زيادة دقة حل المسائل الرياضية على مجموعات بيانات مثل MultiArith و GSM8K[1].
التطبيقات والمزايا
التطبيقات
- تحسين التعلم بالقليل من الأمثلة (few-shot learning): اختيار آلي للأمثلة والتعليمات المثلى.
- زيادة موثوقية النماذج: يمكن ضبط APE للبحث عن مُوجِّهات تقلل من "الهلوسات" وتزيد من صحة الإجابات على معايير أداء مثل TruthfulQA.
- أتمتة التطوير: تسريع عملية إنشاء روبوتات المحادثة، وأنظمة استخلاص المعلومات، وغيرها من تطبيقات LLM[4].
المزايا
- قابلية التوسع: القدرة على توليد وتقييم مئات وآلاف المُوجِّهات آليًا دون تدخل بشري.
- القدرة على التكيف: سهولة تكييف نماذج LLM مع مجالات جديدة وشديدة التخصص.
- توفير الموارد: تقليل كبير للوقت والجهد المبذولين في الاختيار اليدوي للمُوجِّهات.
التطور والمناهج ذات الصلة
يستمر مفهوم APE في التطور. فقد ظهرت أنظمة مستقلة تمامًا، مثل APET (Automatic Prompt Engineering Toolbox)، التي تسمح لنماذج LLM (مثل GPT-4) بتطبيق استراتيجيات توجيه معقدة بشكل مستقل (Expert Prompting، Chain of Thought، Tree of Thoughts) وتحسين التعليمات ديناميكيًا دون تدخل خارجي[5].
يُعد APE جزءًا من اتجاه أوسع نحو أتمتة التفاعل مع نماذج LLM، والذي يشمل أيضًا:
- AutoPrompt: طريقة مبكرة استخدمت البحث التدرجي للعثور على رموز مميزة فردية "محفزة".
- OPRO (Optimization by PROmpting): نهج مشابه لـ APE من DeepMind، يستخدم أيضًا نماذج LLM لتحسين المُوجِّهات.
روابط خارجية
- الموقع الرسمي لمشروع Automatic Prompt Engineer (APE)
- الورقة العلمية «Large Language Models Are Human-Level Prompt Engineers»
- AutoPrompt (2020). AutoPrompt – Official GitHub Repository. GitHub.
المراجع
- Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
- Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
- Hsieh, C.-J. et al. (2024). Automatic Engineering of Long Prompts. Findings of ACL 2024. 2024.findings-acl.634.
- Hsieh, C.-J. et al. (2023). Automatic Long Prompt Engineering. arXiv:2311.10117.
- Shin, T. et al. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv:2010.15980.
- Yang, C. et al. (2023). Large Language Models as Optimizers (OPRO). arXiv:2309.03409.
- Liu, Y. et al. (2024). Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers. arXiv:2405.10276.
- Kepel, D.; Valogianni, K. (2024). Autonomous Prompt Engineering in Large Language Models (APET). arXiv:2407.11000.
- Yang, C. et al. (2024). Optimizing Instructions and Demonstrations for Multi-Stage LM Programs. arXiv:2406.11695.
- Hsieh, C.-J. et al. (2024). APEX (code repository and results). PDF.
ملاحظات
- ↑ 1.0 1.1 1.2 1.3 1.4 Zhou, Y. et al. «Large Language Models Are Human-Level Prompt Engineers». arXiv:2211.01910, 2022. [١]
- ↑ 2.0 2.1 Li, W. et al. «A Survey of Automatic Prompt Engineering: An Optimization Perspective». arXiv:2502.11560, 2025. [٢]
- ↑ Hsieh, C.-J. et al. «Automatic Engineering of Long Prompts». Findings of the Association for Computational Linguistics: ACL 2024. [٣]
- ↑ Fernandez-garcia, A. et al. «Automatic Prompt Engineering for Foundation Models: A Survey». MDPI Electronics, 2025. [٤]
- ↑ Kepel, D. & Valogianni, K. «Autonomous Prompt Engineering in Large Language Models». arXiv:2407.11000, 2024. [٥]