Prompt and context — پرامپٹ اور سیاق

Prompt اور Context (سیاق) پرامپٹ-انجینئرنگ میں بنیادی تصورات ہیں جو بڑے زبانی ماڈلز (LLM) کے لیے استعمال ہوتے ہیں۔

سیاق (Context) پرامپٹ کا ایک انتہائی اہم جزو ہے جو LLM کی درست، متعلقہ اور مفید جوابات پیدا کرنے کی صلاحیت کا تعین کرتا ہے۔ مؤثر پرامپٹ-انجینئرنگ کا جوہر بڑی حد تک صحیح سیاق کو اکٹھا کرنے، چھانٹنے، ترتیب دینے اور مناسب وقت پر ماڈل کے سامنے پیش کرنے کے فن میں مضمر ہے، اور اس کے ساتھ ساتھ جدید LLM کی حدود پر قابو پانا بھی شامل ہے۔

Prompt کی تعریف

Prompt (انگریزی: prompt) — وہ مکمل ان پٹ ڈیٹا ہے جو LLM کو جواب پیدا کرنے کے لیے فراہم کیا جاتا ہے۔ یہ محض ایک سوال یا حکم نہیں، بلکہ ایک منظم متن ہے جس میں شامل ہو سکتے ہیں:

• ہدایات (Instructions): ماڈل کو براہِ راست ہدایات کہ کیا کرنا ہے، کس شکل، انداز یا لہجے میں جواب دینا ہے۔
• بنیادی سوال (Query): صارف کا فوری سوال یا بنیادی کام کی وضاحت۔
• سیاق (Context): اضافی معلومات جو سوال کو صحیح طریقے سے انجام دینے کے لیے ضروری ہے۔
• مثالیں (Few-shot examples): ملتے جلتے کاموں میں مطلوبہ شکل یا انداز کا مظاہرہ۔

پرامپٹ کا معیار اور مکمل پن براہِ راست LLM کے جواب کی مناسبت، درستگی اور افادیت کا تعین کرتا ہے۔

Context (سیاق) کی تعریف

Context (سیاق) پرامپٹ-انجینئرنگ کے تناظر میں — وہ کوئی بھی معلومات ہے جو پرامپٹ کے اندر ہو اور ماڈل کو کام، صورتِ حال کی مخصوصیت یا صارف کی توقعات کو بہتر سمجھنے میں مدد دے، لیکن جو ماڈل کے ابتدائی تربیتی ڈیٹا کا حصہ نہ ہو۔ سیاق وہ صورتِ حال سے متعلق تفصیلات فراہم کرتا ہے جو مناسب جواب پیدا کرنے کے لیے ضروری ہیں۔

سیاق میں شامل ہو سکتے ہیں:

• پچھلی گفتگو کی تاریخ (چیٹ بوٹس میں)۔
• بیرونی ذرائع سے نکالا گیا ڈیٹا (دستاویزات، ڈیٹابیس، ویب صفحات) — RAG کی بنیاد۔
• صارف کے بارے میں معلومات (پروفائل، ترجیحات)۔
• موجودہ کام یا صورتِ حال کی مخصوص تفصیلات۔
• ملتے جلتے کاموں کی انجام دہی کی مثالیں (few-shot prompting کے حصے کے طور پر)۔

یہ ضروری ہے کہ پرامپٹ میں فراہم کردہ سیاق کو اس عمومی علم سے الگ کیا جائے جو ماڈل نے اپنی ابتدائی تربیت کے دوران حاصل کیا ہے۔ پرامپٹ-انجینئرنگ خاص طور پر صورتِ حال کے سیاق کو مؤثر طریقے سے فراہم کرنے پر توجہ دیتی ہے۔

باہمی تعلق اور اثر

Prompt اور Context — transformer کے کام کرنے کے بنیادی تصورات ہیں جو یہ طے کرتے ہیں کہ ماڈل ان پٹ ڈیٹا کو کیسے سمجھتا ہے اور نتیجہ کس بنیاد پر پیدا کرتا ہے۔ فنی لحاظ سے transformer خاص طور پر "پرامپٹ" اور "سیاق" میں فرق نہیں کرتا — دونوں ان پٹ token sequence کے حصے ہیں جنہیں embedding میں تبدیل کیا جاتا ہے، positional معلومات سے بھرپور کیا جاتا ہے اور self-attention کی تہوں میں مشترکہ طور پر پروسیس کیا جاتا ہے۔

Prompt اور Context لازم و ملزوم ہیں: سیاق پرامپٹ کا جزو لاینفک ہے۔

• سیاق پرامپٹ کو تشکیل دیتا ہے: انجینئر پرامپٹ میں شامل کرنے کے لیے متعلقہ سیاق کا انتخاب اور ترتیب کرتا ہے۔
• سیاق ماڈل کی رہنمائی کرتا ہے: فراہم کردہ معلومات LLM کو ممکنہ جوابات کی گنجائش کم کرنے، متعلقہ پہلوؤں پر توجہ مرکوز کرنے اور hallucinations سے بچنے میں مدد دیتی ہے۔
• سیاق کا معیار جواب کا معیار متعین کرتا ہے: ناکافی، غیر متعلقہ یا متضاد سیاق غلط، عمومی یا نادرست جوابات کا باعث بنتا ہے۔ درست اور مکمل سیاق جواب کی مخصوصیت اور افادیت بڑھاتا ہے۔
• ہدایات کی تفسیر پر اثر: سیاق پرامپٹ میں عمومی ہدایات کی تفسیر کو مزید واضح یا تبدیل کر سکتا ہے۔

پرامپٹ کی کارکردگی بڑی حد تک اس بات پر منحصر ہے کہ انجینئر متعلقہ سیاق کو ماڈل کے سامنے جمع کرنے، چھاننے اور پیش کرنے میں کتنا کامیاب رہا۔

Context (سیاق) کی اقسام

سیاق کو مختلف معیاروں کی بنیاد پر درجہ بند کیا جا سکتا ہے:

ماخذ کے اعتبار سے:

• صارف کا فراہم کردہ: صارف کا واضح ان پٹ، اس کا سوال یا کام کی وضاحت۔
• گفتگو کی تاریخ سے: صارف اور اسسٹنٹ کے سابقہ پیغامات (قلیل مدتی یادداشت)۔
• نکالا گیا (Retrieved): RAG کے ذریعے بیرونی ذرائع (دستاویزات، ڈیٹابیس، ویب) سے ڈیٹا۔
• پروفائل/نالج بیس سے: صارف یا کسی شعبے کے بارے میں طویل مدتی معلومات۔
• جامد/ہدایاتی: انجینئر کی طرف سے پرامپٹ ٹیمپلیٹ میں شامل معلومات (ہدایات، مثالیں، کرداروں کی تعریفیں)۔

متحرک پن کے اعتبار سے:

• جامد سیاق: پرامپٹ کا غیر متغیر حصہ (ہدایات، تعریفیں، مثالیں)۔ عمومی کام کا تعین کرتا ہے۔
• متحرک سیاق: ہر درخواست سے درخواست میں تبدیل ہونے والی معلومات (صارف کا ڈیٹا، RAG کے نتائج، موجودہ وقت)۔ مخصوص تفصیلات فراہم کرتا ہے۔

ذخیرہ کے وقت کے اعتبار سے (یادداشت):

• قلیل مدتی سیاق: موجودہ گفتگو سیشن کی تاریخ۔
• طویل مدتی سیاق: صارف یا سابقہ تعاملات کے بارے میں محفوظ ڈیٹا، جس کے لیے ذخیرہ اور بازیابی کے طریقہ کار درکار ہیں۔

Context (سیاق) کا نظم

مؤثر سیاق کا نظم پرامپٹ-انجینئرنگ کا کلیدی کام ہے، خاص طور پر LLM کے context window کی حدود کے پیشِ نظر۔ بنیادی طریقے:

• RAG: بڑی مقدار کی معلومات کے ساتھ کام کرنے کا سب سے عام طریقہ۔ وسیع knowledge base سے صرف سب سے متعلقہ ٹکڑوں کو پرامپٹ میں متحرک طور پر تلاش کرنے اور شامل کرنے کی اجازت دیتا ہے۔ vector database اور مؤثر تلاش کے طریقہ کار (lexical یا semantic) کی ضرورت ہے۔
• Chunking (چنکنگ): RAG کے ذریعے انڈیکسنگ اور بعد میں بازیابی کے لیے بڑی دستاویزات کو معنوی طور پر منسلک یا مقررہ سائز کے حصوں میں تقسیم کرنا۔
• Summarization (خلاصہ سازی): محدود context window میں بنیادی مفہوم پہنچانے کے لیے طویل گفتگو کی تاریخ یا حجیم دستاویزات کو سکیڑنا۔
• Memory Management (یادداشت کا نظم): چیٹ بوٹس اور ایجنٹس میں گفتگو کی تاریخ ذخیرہ کرنے اور بازیاب کرنے کے لیے مختلف حکمت عملیوں کا استعمال (مثلاً LangChain میں ConversationBufferMemory، ConversationSummaryBufferMemory)۔
• Sliding Window (سرکتی کھڑکی): سیاق میں صرف آخری N گفتگو کے پیغامات برقرار رکھنا۔
• فلٹرنگ اور ترجیح بندی: حتمی پرامپٹ مرتب کرنے سے پہلے اہمیت کی بنیاد پر (مثلاً تلاش میں ملنے والے مطابقت کے اسکور کے ذریعے) سب سے متعلقہ سیاق کے ٹکڑوں کا انتخاب۔

پرامپٹ-انجینئرنگ میں Context (سیاق) کا کردار

• مناسبت میں اضافہ: سیاق ماڈل کو ایسے جوابات پیدا کرنے کی اجازت دیتا ہے جو صارف کی درخواست اور صورتِ حال سے بالکل ہم آہنگ ہوں۔
• Hallucinations میں کمی: حقیقی معلومات فراہم کرنا (RAG کے ذریعے) ماڈل کو انہیں بنیاد بنانے پر مجبور کرتا ہے نہ کہ حقائق گھڑنے پر۔
• ذاتی نوعیت بنانا (Personalization): صارف کے بارے میں سیاق (ترجیحات، تاریخ) جوابات کو اپنانے کی اجازت دیتا ہے۔
• حالت کا نظم: گفتگو اور کثیر مرحلہ جاتی عمل میں سیاق (تاریخ) ماڈل کی سابقہ مراحل سے آگاہی اور تسلسل کو یقینی بناتا ہے۔
• ماڈل کے علمی حدود سے نجات: RAG ماڈل کو اپنی تربیت کے بعد پیش آنے والے واقعات یا مخصوص/نجی ڈیٹا کے بارے میں سوالوں کا جواب دینے کی اجازت دیتا ہے۔

حدود

• Context Window کی حد: جدید ماڈلز میں 1-2 ملین tokens تک اضافے کے باوجود، اتنے حجم کی پروسیسنگ مہنگی اور سست ہو سکتی ہے۔ مؤثر سکڑاؤ اور انتخاب کی حکمت عملیاں (RAG، خلاصہ سازی) درکار ہیں۔
• متعلقہ سیاق کی تلاش: RAG کی کارکردگی تلاش کے معیار پر منحصر ہے۔ غلط طریقے سے نکالا گیا سیاق ماڈل کو الجھا سکتا ہے ("کچرا اندر - کچرا باہر")۔
• "بے پرواہی کی وادی" (Valley of Meh): بہت لمبے پرامپٹ کے وسط میں رکھی گئی معلومات کو ماڈل نظر انداز کر سکتا ہے۔ پرامپٹ کی ترتیب کی ضرورت ہے (مثلاً "سینڈوچ تکنیک")۔
• Context Injection کا خطرہ: اگر سیاق غیر قابلِ بھروسہ ذرائع (مثلاً ویب صفحات) سے نکالا جائے تو اس میں نقصاندہ ہدایات (prompt injection) ہو سکتی ہیں۔

کتابیات

• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
• Schick, T. et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv:2302.04761.
• Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Packer, C. et al. (2023). MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560.
• Wang, Y. et al. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Sahoo, P. et al. (2024). A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications. arXiv:2402.07927.
• Kim, S. H. et al. (2024). Theanine: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation. arXiv:2406.10996.
• Chen, S. et al. (2024). StruQ: Defending Against Prompt Injection with Structured Queries. arXiv:2402.06363.
• Zhong, M. et al. (2024). Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective. arXiv:2406.13282.
• Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.
• Self-Instruct (2025). Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.

مزید دیکھیے

• بڑے زبانی ماڈلز
• Context Window
• Vector Databases
• LangChain