Contextual forgetting — Πλαισιακή Λήθη

Πλαισιακή λήθη στα μεγάλα γλωσσικά μοντέλα — είναι ένα πολύπλευρο φαινόμενο, κατά το οποίο ένα μεγάλο γλωσσικό μοντέλο (LLM) χάνει, αγνοεί ή χρησιμοποιεί αναποτελεσματικά πληροφορίες που του έχουν παρασχεθεί προηγουμένως στο πλαίσιο μιας ενιαίας αλληλεπίδρασης. Σε αντίθεση με την ανθρώπινη μνήμη, τα LLM δεν διαθέτουν μακροπρόθεσμο χώρο αποθήκευσης καταστάσεων και βασίζονται αποκλειστικά στο παράθυρο πλαισίου — στον περιορισμένο όγκο κειμένου (σε tokens), τον οποίο το μοντέλο μπορεί να επεξεργαστεί ταυτόχρονα. Αυτό το παράθυρο λειτουργεί ως η βραχυπρόθεσμη ή εργαζόμενη μνήμη του μοντέλου.

Η πιο γνωστή εκδήλωση αυτού του περιορισμού είναι το πρόβλημα «Χαμένο στη Μέση» (Lost in the Middle) — η τάση των μοντέλων να επεξεργάζονται καλύτερα πληροφορίες που βρίσκονται στην αρχή και στο τέλος ενός μακρού πλαισίου, και χειρότερα αυτές που βρίσκονται στη μέση. Αυτό το φαινόμενο δεν αποτελεί βλάβη, αλλά θεμελιώδη ιδιότητα που απορρέει από την αρχιτεκτονική των transformer και τις αρχές εκπαίδευσής τους.

Δύο τύποι λήθης: Πλαισιακή και Καταστροφική

Είναι σημαντικό να διακρίνουμε δύο θεμελιωδώς διαφορετικούς τύπους «λήθης» στα LLM: την ενδοπλαισιακή και την καταστροφική.

Ενδοπλαισιακή λήθη (Χαμένο στη Μέση)

Αυτός ο τύπος λήθης συμβαίνει κατά τη διάρκεια μιας ενιαίας συνεδρίας αλληλεπίδρασης (inference) με ένα ήδη εκπαιδευμένο μοντέλο. Συνδέεται με τους περιορισμούς του παραθύρου πλαισίου. Όταν ο όγκος του διαλόγου ή του εγγράφου υπερβαίνει το μέγεθος του παραθύρου, το μοντέλο «ξεχνά» τα παλαιότερα τμήματα για να αποδεσμεύσει χώρο για νέα. Ακόμη και εντός του παραθύρου, οι πληροφορίες από τη μέση του πλαισίου ενδέχεται να χρησιμοποιούνται λιγότερο αποτελεσματικά. Αυτός είναι ο περιορισμός της εργαζόμενης μνήμης του μοντέλου. Στη δημοσιογραφία αυτό το φαινόμενο αναφέρεται επίσης ως «σύνδρομο υποβάθμισης πλαισίου» (Context Degradation Syndrome, CDS).

Καταστροφική λήθη (Παρέκκλιση μοντέλου)

Αυτός ο τύπος λήθης, γνωστός επίσης ως «παρέκκλιση μοντέλου» (model drift), συμβαίνει κατά τη διάρκεια της διαδικασίας fine-tuning του μοντέλου σε νέα δεδομένα. Όταν ένα μοντέλο, προ-εκπαιδευμένο σε τεράστιο σώμα γενικών γνώσεων, υποβάλλεται σε fine-tuning με ένα εξαιρετικά εξειδικευμένο dataset (για παράδειγμα, ιατρικά κείμενα), τα βάρη του μεταβάλλονται. Αυτό μπορεί να οδηγήσει σε υποβάθμιση ή «σβήσιμο» γνώσεων και δεξιοτήτων που είχαν αποκτηθεί προηγουμένως και δεν σχετίζονται με τη νέα εργασία.

Αιτίες και μηχανισμοί

Η πλαισιακή λήθη είναι άμεση συνέπεια της αρχιτεκτονικής των transformer και της γεωμετρίας των διανυσματικών χώρων.

Το φαινόμενο «Χαμένο στη Μέση» (Lost in the Middle)

Μια έρευνα του Πανεπιστημίου Stanford του 2023 με τίτλο «Lost in the Middle» απέδειξε με σαφήνεια ότι η απόδοση των LLM κατά την ανάκτηση πληροφοριών από μακρύ πλαίσιο έχει καμπύλη σχήματος U. Η ακρίβεια των απαντήσεων είναι υψηλότερη όταν η σχετική πληροφορία βρίσκεται στην αρχή (φαινόμενο πρωτοτυπίας) ή στο τέλος (φαινόμενο νεότητας) του πλαισίου, και μειώνεται σημαντικά εάν είναι «κρυμμένη» στη μέση. Αιτίες αυτού του φαινομένου:

• Μηχανισμός προσοχής: Η αρχιτεκτονική transformer εκ φύσεως αφιερώνει δυσανάλογα μεγάλη προσοχή στα αρχικά tokens (τα λεγόμενα «άγκυρες προσοχής» ή attention sinks) για τη διατήρηση της καθολικής συνοχής, καθώς και στο τοπικό πλαίσιο, γεγονός που οδηγεί στην εξασθένηση της «εστίασης» στη μέση.
• Δεδομένα προ-εκπαίδευσης: Τα μοντέλα εκπαιδεύονται συνήθως σε σχετικά σύντομα κείμενα, όπου σπάνια σημαντικές πληροφορίες βρίσκονται σε απόσταση δεκάδων χιλιάδων tokens από την αρχή, γεγονός που τα εμποδίζει να χρησιμοποιούν αποτελεσματικά πολύ μακρά πλαίσια.

Εκδηλώσεις και συνέπειες

• Σύνδρομο υποβάθμισης πλαισίου: Κατά τη διάρκεια παρατεταμένων διαλόγων, το μοντέλο αρχίζει να «χάνει το νήμα της συνομιλίας», να επαναλαμβάνει απαντήσεις, να έρχεται σε αντίφαση με προηγουμένως καθιερωμένα γεγονότα και να δίνει ολοένα πιο γενικές και ασαφείς απαντήσεις.
• Αποτυχίες σε πολυβηματικές εργασίες: Σε εργασίες όπου οι συνθήκες αποσαφηνίζονται στη διάρκεια πολλών αναλήψεων, το μοντέλο μπορεί να «κολλήσει» σε μια λανθασμένη αρχική υπόθεση και να αγνοήσει τις επακόλουθες αποσαφηνίσεις, οδηγώντας στην πλήρη αδυναμία επίλυσης της εργασίας.
• Αναξιοπιστία ανάλυσης εγγράφων: Κατά την ανάλυση μακρών εκθέσεων ή νομικών εγγράφων, το LLM μπορεί να παραλείψει βασικά γεγονότα που βρίσκονται στις κεντρικές ενότητες, καθιστώντας το αναξιόπιστο εργαλείο για τέτοιες εργασίες.

Στρατηγικές μετριασμού και πρόληψης

Ερευνητές και προγραμματιστές εφαρμόζουν αρκετές προσεγγίσεις για την αντιμετώπιση του προβλήματος της πλαισιακής λήθης.

Αύξηση του παραθύρου πλαισίου

Η πιο άμεση προσέγγιση είναι η αύξηση του μεγέθους του παραθύρου πλαισίου. Σύγχρονα μοντέλα, όπως το Claude 3 (200 χιλ. tokens) και το Gemini 1.5 Pro (έως 2 εκατ. tokens), έχουν επεκτείνει σημαντικά αυτό το όριο. Ωστόσο, οι έρευνες δείχνουν ότι η απλή αύξηση του παραθύρου δεν εγγυάται την αποτελεσματική χρήση του, και το πρόβλημα «χαμένο στη μέση» παραμένει.

Προηγμένη μηχανική prompt

Η σωστή δομή των prompt μπορεί να βελτιώσει σημαντικά την απόδοση. Η εταιρεία Anthropic προτείνει τις ακόλουθες πρακτικές:

• Τοποθέτηση εγγράφων στην αρχή: Να τοποθετείτε μακρά κείμενα στην αρχή του prompt, πριν από τις οδηγίες και την ερώτηση.
• Χρήση XML tags: Να περιβάλλετε έγγραφα σε tags `<document>` για σαφή διαχωρισμό.
• Τεκμηρίωση απαντήσεων με παραθέματα: Να δίνετε στο μοντέλο οδηγία να εξάγει πρώτα σχετικά παραθέματα και στη συνέχεια να διατυπώνει την απάντηση βάσει αυτών.

Εξωτερίκευση μνήμης: Retrieval-Augmented Generation (RAG)

Μια θεμελιωδώς διαφορετική προσέγγιση — να μην τοποθετείται όλη η πληροφορία στο παράθυρο πλαισίου, αλλά να μεταφερθεί σε εξωτερικό σύστημα (διανυσματική βάση δεδομένων) και να παρέχεται κατόπιν αιτήματος.

1. Ανάκτηση (Retrieve): Όταν υποβάλλεται αίτημα, το σύστημα αναζητά σχετικές πληροφορίες στην εξωτερική βάση.
2. Εμπλουτισμός (Augment): Τα βρεθέντα τμήματα προστίθενται στο αρχικό αίτημα.
3. Δημιουργία (Generate): Το LLM παράγει απάντηση βασιζόμενο στο παρεχόμενο πλαίσιο.

Το RAG επιτρέπει την εργασία με πρακτικά απεριόριστους όγκους δεδομένων και παρέχει πρόσβαση σε φρέσκες και επαληθευμένες πληροφορίες, μειώνοντας τον κίνδυνο ψευδαισθήσεων και αποτελεί την πιο αξιόπιστη λύση μέχρι σήμερα.

Παραπομπές

• Lost in the Middle: How Language Models Use Long Contexts — πρωτότυπη έρευνα του Πανεπιστημίου Stanford.
• Ανακοίνωση του Claude με παράθυρο πλαισίου 100K tokens από την Anthropic.

Βιβλιογραφία

• Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
• An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
• Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
• Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
• Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
• Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
• Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
• Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
• Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
• Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
• Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.