Prompt and context — Prompt και πλαίσιο

Prompt και context αποτελούν θεμελιώδεις έννοιες στο prompt engineering για μεγάλα γλωσσικά μοντέλα (LLM).

Το context είναι κρίσιμο συστατικό του prompt, που καθορίζει την ικανότητα του LLM να παράγει ακριβείς, σχετικές και χρήσιμες απαντήσεις. Το αποτελεσματικό prompt engineering συνίσταται σε μεγάλο βαθμό στην τέχνη της συλλογής, φιλτραρίσματος, δόμησης και παρουσίασης του σωστού context στο μοντέλο την κατάλληλη στιγμή, ξεπερνώντας παράλληλα τους περιορισμούς των σύγχρονων LLM.

Ορισμός του Prompt

Prompt (αγγλ. prompt) — είναι το πλήρες σύνολο δεδομένων εισόδου που παρέχεται στο LLM για την παραγωγή απάντησης. Δεν είναι απλώς μια ερώτηση ή εντολή, αλλά ένα δομημένο κείμενο που μπορεί να περιλαμβάνει:

• Οδηγίες: Άμεσες κατευθύνσεις προς το μοντέλο για το τι πρέπει να γίνει, σε ποια μορφή, ύφος ή τόνο.
• Βασικό αίτημα (Query): Η άμεση ερώτηση του χρήστη ή η περιγραφή της κύριας εργασίας.
• Context: Πρόσθετες πληροφορίες απαραίτητες για την ορθή εκτέλεση του αιτήματος.
• Παραδείγματα (Few-shot examples): Επίδειξη της επιθυμητής μορφής ή ύφους απάντησης σε ανάλογες εργασίες.

Η ποιότητα και η πληρότητα του prompt καθορίζουν άμεσα τη συνάφεια, την ακρίβεια και τη χρησιμότητα της απάντησης του LLM.

Ορισμός του Context

Context στο πλαίσιο του prompt engineering — είναι οποιαδήποτε πληροφορία εντός του prompt που βοηθά το μοντέλο να κατανοήσει καλύτερα την εργασία, τις ιδιαιτερότητες της κατάστασης ή τις προσδοκίες του χρήστη, αλλά δεν αποτελεί μέρος των αρχικών δεδομένων εκπαίδευσής του. Το context παρέχει τις περιστασιακές λεπτομέρειες που είναι απαραίτητες για την παραγωγή κατάλληλης απάντησης.

Το context μπορεί να περιλαμβάνει:

• Ιστορικό προηγούμενου διαλόγου (σε chatbots).
• Δεδομένα που αντλούνται από εξωτερικές πηγές (έγγραφα, βάσεις δεδομένων, ιστοσελίδες) — η βάση του RAG.
• Πληροφορίες για τον χρήστη (προφίλ, προτιμήσεις).
• Συγκεκριμένες λεπτομέρειες της τρέχουσας εργασίας ή κατάστασης.
• Παραδείγματα εκτέλεσης ανάλογων εργασιών (ως μέρος του few-shot prompting).

Είναι σημαντικό να διακρίνουμε το context που παρέχεται στο prompt από τη γενική γνώση που απέκτησε το μοντέλο κατά την προ-εκπαίδευσή του. Το prompt engineering εστιάζει στην αποτελεσματική παροχή ακριβώς του περιστασιακού context.

Αλληλεπίδραση και Επίδραση

Prompt και context – θεμελιώδεις έννοιες στη λειτουργία των transformer, που καθορίζουν πώς το μοντέλο αντιλαμβάνεται τα δεδομένα εισόδου και βάσει ποιων στοιχείων παράγει το αποτέλεσμα. Αρχιτεκτονικά, ο transformer δεν διακρίνει ειδικά «prompt» και «context» – και τα δύο αποτελούν μέρη της ακολουθίας εισόδου των token, τα οποία μετατρέπονται σε embeddings, εμπλουτίζονται με πληροφορίες θέσης και επεξεργάζονται συνολικά από τα επίπεδα self-attention.

Prompt και context συνδέονται αδιάρρηκτα: το context είναι συστατικό μέρος του prompt.

• Το context διαμορφώνει το prompt: Ο μηχανικός επιλέγει και δομεί το σχετικό context για να το συμπεριλάβει στο prompt.
• Το context καθοδηγεί το μοντέλο: Οι παρεχόμενες πληροφορίες επιτρέπουν στο LLM να περιορίσει τον χώρο των πιθανών απαντήσεων, να εστιάσει στις σχετικές πτυχές και να αποφύγει τις παραισθήσεις (hallucinations).
• Η ποιότητα του context καθορίζει την ποιότητα της απάντησης: Ανεπαρκές, άσχετο ή αντιφατικό context οδηγεί σε ανακριβείς, γενικές ή εσφαλμένες απαντήσεις. Ακριβές και πλήρες context αυξάνει την εξειδίκευση και τη χρησιμότητα της παραγωγής.
• Επίδραση στην ερμηνεία οδηγιών: Το context μπορεί να εξειδικεύει ή να τροποποιεί την ερμηνεία γενικών οδηγιών στο prompt.

Η αποτελεσματικότητα του prompt εξαρτάται σε μεγάλο βαθμό από το πόσο επιτυχώς ο μηχανικός κατάφερε να συλλέξει, να φιλτράρει και να παρουσιάσει το σχετικό context στο μοντέλο.

Τύποι Context

Το context μπορεί να ταξινομηθεί με βάση διάφορα κριτήρια:

Ανά πηγή:

• Παρεχόμενο από τον χρήστη: Η ρητή είσοδος του χρήστη, η ερώτησή του ή η περιγραφή της εργασίας.
• Από το ιστορικό διαλόγου: Προηγούμενα μηνύματα χρήστη και βοηθού (βραχυπρόθεσμη μνήμη).
• Ανακτημένο (Retrieved): Δεδομένα από εξωτερικές πηγές (έγγραφα, βάσεις δεδομένων, ιστό) μέσω RAG.
• Από προφίλ/βάση γνώσεων: Μακροπρόθεσμες πληροφορίες για τον χρήστη ή τον τομέα.
• Στατικό/Οδηγιακό: Πληροφορίες που ενσωματώνει ο μηχανικός στο πρότυπο prompt (οδηγίες, παραδείγματα, ορισμοί ρόλων).

Ανά δυναμικότητα:

• Στατικό context: Αμετάβλητο μέρος του prompt (οδηγίες, ορισμοί, παραδείγματα). Καθορίζει τη γενική εργασία.
• Δυναμικό context: Πληροφορίες που αλλάζουν από αίτημα σε αίτημα (δεδομένα χρήστη, αποτελέσματα RAG, τρέχουσα ώρα). Παρέχει συγκεκριμένες λεπτομέρειες.

Ανά χρόνο αποθήκευσης (Μνήμη):

• Βραχυπρόθεσμο context: Ιστορικό τρέχουσας συνεδρίας διαλόγου.
• Μακροπρόθεσμο context: Αποθηκευμένα δεδομένα για τον χρήστη ή προηγούμενες αλληλεπιδράσεις, που απαιτούν μηχανισμούς αποθήκευσης και ανάκτησης.

Διαχείριση Context

Η αποτελεσματική διαχείριση context είναι βασική εργασία του prompt engineering, ιδιαίτερα υπό το πρίσμα των περιορισμών του context window των LLM. Κύριες μέθοδοι:

• RAG: Η πιο διαδεδομένη μέθοδος για εργασία με μεγάλους όγκους πληροφοριών. Επιτρέπει τη δυναμική εύρεση και ενσωμάτωση στο prompt μόνο των πιο σχετικών αποσπασμάτων από μια εκτεταμένη βάση γνώσεων. Απαιτεί διανυσματική βάση δεδομένων και αποτελεσματικούς μηχανισμούς αναζήτησης (λεξιλογικής ή σημασιολογικής).
• Chunking: Διαίρεση μεγάλων εγγράφων σε σημασιολογικά συνδεδεμένα ή σταθερού μεγέθους τμήματα για ευρετηρίαση και μεταγενέστερη ανάκτηση μέσω RAG.
• Σύνοψη (Summarization): Συμπίεση μεγάλου ιστορικού διαλόγου ή ογκωδών εγγράφων για τη μεταφορά του βασικού νοήματος εντός του περιορισμένου context window.
• Διαχείριση Μνήμης (Memory Management): Χρήση διαφόρων στρατηγικών για την αποθήκευση και ανάκτηση ιστορικού διαλόγου σε chatbots και agents (π.χ. ConversationBufferMemory, ConversationSummaryBufferMemory στο LangChain).
• Κυλιόμενο παράθυρο (Sliding Window): Διατήρηση μόνο των N τελευταίων μηνυμάτων διαλόγου στο context.
• Φιλτράρισμα και Ιεράρχηση: Επιλογή των πιο σχετικών αποσπασμάτων context με βάση τη σπουδαιότητά τους (π.χ. με βαθμολογίες συνάφειας που προκύπτουν κατά την αναζήτηση) πριν από τη σύνθεση του τελικού prompt.

Ρόλος του Context στο Prompt Engineering

• Αύξηση Συνάφειας: Το context επιτρέπει στο μοντέλο να παράγει απαντήσεις που ανταποκρίνονται ακριβώς στο αίτημα και την κατάσταση του χρήστη.
• Μείωση Παραισθήσεων (Hallucinations): Η παροχή πραγματικών πληροφοριών (μέσω RAG) αναγκάζει το μοντέλο να βασιστεί σε αυτές, αντί να επινοεί γεγονότα.
• Εξατομίκευση: Το context σχετικά με τον χρήστη (προτιμήσεις, ιστορικό) επιτρέπει την προσαρμογή των απαντήσεων.
• Διαχείριση Κατάστασης: Στους διαλόγους και τις πολυβηματικές διαδικασίες, το context (ιστορικό) εξασφαλίζει τη συνέχεια και την ενημέρωση του μοντέλου για τα προηγούμενα βήματα.
• Υπέρβαση Περιορισμών Γνώσης Μοντέλου: Το RAG επιτρέπει στο μοντέλο να απαντά σε ερωτήσεις για γεγονότα που συνέβησαν μετά την εκπαίδευσή του ή για συγκεκριμένα/ιδιωτικά δεδομένα.

Περιορισμοί

• Όριο Context Window: Παρά την αύξηση έως 1-2 εκατομμύρια token στα σύγχρονα μοντέλα, η επεξεργασία τέτοιων όγκων μπορεί να είναι δαπανηρή και αργή. Απαιτεί αποτελεσματικές στρατηγικές συμπίεσης και επιλογής (RAG, σύνοψη).
• Εύρεση Σχετικού Context: Η αποτελεσματικότητα του RAG εξαρτάται από την ποιότητα της αναζήτησης. Ένα λανθασμένα ανακτημένο context μπορεί να παραπλανήσει το μοντέλο («σκουπίδια στην είσοδο - σκουπίδια στην έξοδο»).
• «Κοιλάδα της Αδιαφορίας» (Valley of Meh): Πληροφορίες τοποθετημένες στη μέση ενός πολύ μακρού prompt μπορεί να αγνοούνται από το μοντέλο. Απαιτεί δόμηση του prompt (π.χ. τεχνική «σάντουιτς»).
• Κίνδυνος Έγχυσης Context: Εάν το context αντλείται από αναξιόπιστες πηγές (π.χ. ιστοσελίδες), μπορεί να περιέχει κακόβουλες οδηγίες (prompt injection).

Βιβλιογραφία

• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
• Schick, T. et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv:2302.04761.
• Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Packer, C. et al. (2023). MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560.
• Wang, Y. et al. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Sahoo, P. et al. (2024). A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications. arXiv:2402.07927.
• Kim, S. H. et al. (2024). Theanine: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation. arXiv:2406.10996.
• Chen, S. et al. (2024). StruQ: Defending Against Prompt Injection with Structured Queries. arXiv:2402.06363.
• Zhong, M. et al. (2024). Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective. arXiv:2406.13282.
• Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.
• Self-Instruct (2025). Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.

Δείτε επίσης

• Μεγάλα γλωσσικά μοντέλα
• Context window
• Διανυσματικές βάσεις δεδομένων
• LangChain