Theoretical foundations of large language models — Θεωρητικές Βάσεις των LLM

Θεωρητικές βάσεις των μεγάλων γλωσσικών μοντέλων (βασισμένες στην αρχιτεκτονική transformer) — είναι το σύνολο των μαθηματικών, στατιστικών και πληροφοριοθεωρητικών αρχών που διέπουν τη λειτουργία, την εκπαίδευση και τις δυνατότητες των σύγχρονων μεγάλων γλωσσικών μοντέλων (LLM). Αυτές οι βάσεις εξηγούν πώς τα μοντέλα που βασίζονται στην αρχιτεκτονική Transformer είναι ικανά να κατανοούν και να παράγουν ανθρώπινη γλώσσα με υψηλό βαθμό συνοχής.

Αρχιτεκτονικές βάσεις: αρχιτεκτονική Transformer

Τα σύγχρονα LLM βασίζονται σχεδόν αποκλειστικά στην αρχιτεκτονική Transformer, που παρουσιάστηκε το 2017 στο άρθρο «Attention Is All You Need». Αυτή η αρχιτεκτονική εγκατέλειψε τα αναδρομικά επίπεδα (όπως στα RNN και LSTM), στοιχηματίζοντας στον μηχανισμό attention, κάτι που επέτρεψε την αποτελεσματική επεξεργασία μακρών ακολουθιών και την παραλληλοποίηση των υπολογισμών.

Μηχανισμός Self-Attention

Αυτός είναι ο πυρήνας της αρχιτεκτονικής Transformer. Ο μηχανισμός self-attention επιτρέπει στο μοντέλο να σταθμίζει τη σημασία κάθε λέξης (token) στην ακολουθία σε σχέση με όλες τις άλλες λέξεις της ίδιας ακολουθίας. Για κάθε token δημιουργούνται τρία διανύσματα:

• Query (Q, Ερώτημα): διάνυσμα που αναπαριστά την τρέχουσα λέξη.
• Key (K, Κλειδί): διάνυσμα με το οποίο συγκρίνονται τα ερωτήματα από άλλες λέξεις.
• Value (V, Τιμή): διάνυσμα που περιέχει πληροφορία για τη λέξη, η οποία θα μεταδοθεί παρακάτω.

Η βαθμολογία attention υπολογίζεται ως κλιμακωμένο εσωτερικό γινόμενο:

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

όπου $d_k$ είναι η διάσταση των διανυσμάτων κλειδιών. Αυτός ο μηχανισμός επιτρέπει στο μοντέλο να συλλαμβάνει σύνθετες συμφραζόμενες εξαρτήσεις, ανεξάρτητα από την απόσταση μεταξύ των λέξεων.

Multi-Head Attention — είναι η παράλληλη εκτέλεση πολλαπλών τέτοιων υπολογισμών με διαφορετικές μήτρες προβολής, κάτι που επιτρέπει στο μοντέλο να εστιάζει ταυτόχρονα σε διαφορετικές πτυχές της σύνταξης και της σημασιολογίας.

Τύποι αρχιτεκτονικών βασισμένων στον Transformer

Υπάρχουν τρεις βασικές παραλλαγές χρήσης των συνιστωσών του Transformer:

1. Encoder-Decoder: Η κλασική αρχιτεκτονική για εργασίες μετατροπής ακολουθίας σε ακολουθία (π.χ. μηχανική μετάφραση). Ο encoder επεξεργάζεται την ακολουθία εισόδου και ο decoder παράγει την ακολουθία εξόδου. Παραδείγματα: T5, BART.
2. Encoder-Only: Μοντέλα που χρησιμοποιούν μόνο τη στοίβα encoders. Είναι ιδανικά για εργασίες που απαιτούν βαθιά κατανόηση του συμφραζόμενου ολόκληρης της ακολουθίας (κατηγοριοποίηση κειμένου, αναγνώριση ονομαστικών οντοτήτων). Παράδειγμα: BERT.
3. Decoder-Only: Μοντέλα που χρησιμοποιούν μόνο τη στοίβα decoders. Λειτουργούν αυτοπαλίνδρομα, προβλέποντας το επόμενο token με βάση τα προηγούμενα. Αυτό είναι το πρότυπο για γεννητικά μοντέλα. Παραδείγματα: GPT, LLaMA, Claude.

Positional Encoding - Θέσιακή κωδικοποίηση

Επειδή ο μηχανισμός self-attention δεν λαμβάνει υπόψη τη σειρά των λέξεων, η αρχιτεκτονική εμπλουτίζεται με θέσιακή κωδικοποίηση (positional encoding). Στα embeddings των tokens προστίθενται διανύσματα που κωδικοποιούν τη θέση τους στην ακολουθία. Στο αρχικό μοντέλο χρησιμοποιήθηκαν ημιτονοειδείς συναρτήσεις:

$\text{PE}(\text{pos},2i)=\sin (\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i+1)=\cos (\text{pos}/10000^{2i/d_{\text{model}}})$

Στα σύγχρονα μοντέλα χρησιμοποιούνται επίσης εκπαιδεύσιμες και περιστροφικές (Rotary Position Embeddings, RoPE) θέσιακές κωδικοποιήσεις.

Αρχές εκπαίδευσης: από την πιθανότητα στη βελτιστοποίηση

Γλωσσική μοντελοποίηση ως πιθανοτική εργασία

Στη βάση των LLM βρίσκεται η εργασία της γλωσσικής μοντελοποίησης — η πρόβλεψη της πιθανότητας μιας ακολουθίας κειμένου. Τυπικά, για μια ακολουθία $X=(x_1,x_2,\dots ,x_T)$ το μοντέλο εκτιμά την πιθανότητα $P(X)$. Με τη χρήση του αλυσιδωτού κανόνα πιθανοτήτων αυτό αναλύεται σε γινόμενο δεσμευμένων πιθανοτήτων:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Έτσι, η εκπαίδευση του μοντέλου ανάγεται στην πρόβλεψη του επόμενου token $x_t$ με βάση το συμφραζόμενο των προηγούμενων tokens.

Συνάρτηση απώλειας και θεωρία πληροφορίας

Για την αξιολόγηση της ποιότητας των προβλέψεων και την εκπαίδευση του μοντέλου χρησιμοποιείται η συνάρτηση απώλειας cross-entropy. Μετρά την απόκλιση μεταξύ της πιθανοτικής κατανομής που προβλέπει το μοντέλο ($q$) και της πραγματικής κατανομής ($p$), όπου το σωστό επόμενο token έχει πιθανότητα 1 και τα υπόλοιπα — 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

Η ελαχιστοποίηση της cross-entropy ισοδυναμεί με τη μεγιστοποίηση της πιθανοφάνειας των δεδομένων εκπαίδευσης.

Συναφής μετρική ποιότητας είναι η perplexity, η οποία ορίζεται ως εκθετική της cross-entropy: $\text{Perplexity}=2^{H(p,q)}$. Διαισθητικά, η perplexity δείχνει τον μέσο αριθμό επιλογών από τις οποίες το μοντέλο «διαλέγει» σε κάθε βήμα. Όσο χαμηλότερη είναι η perplexity, τόσο πιο σίγουρο και ακριβές είναι το μοντέλο.

Βελτιστοποίηση

Η εκπαίδευση LLM είναι διαδικασία ελαχιστοποίησης της συνάρτησης απώλειας μέσω διόρθωσης δισεκατομμυρίων παραμέτρων του μοντέλου. Για αυτό χρησιμοποιούνται μέθοδοι βασισμένοι στη gradient descent. Ο πιο διαδεδομένος είναι ο βελτιστοποιητής Adam (Adaptive Moment Estimation) και οι παραλλαγές του (π.χ. AdamW), οι οποίοι προσαρμόζουν αυτόματα τον ρυθμό εκπαίδευσης για κάθε παράμετρο.

Παραδείγματα εκπαίδευσης

1. Pre-training (Προεκπαίδευση): Το μοντέλο εκπαιδεύεται σε τεράστια μη ετικετοποιημένα γλωσσικά σώματα (Common Crawl, The Pile, C4) με τη χρήση αυτο-εποπτευόμενων εργασιών, όπως:
   • Causal Language Modeling (CLM): Πρόβλεψη του επόμενου token (χρησιμοποιείται στο GPT).
   • Masked Language Modeling (MLM): Αποκατάσταση τυχαία καλυμμένων tokens στο κείμενο (χρησιμοποιείται στο BERT).
2. Fine-tuning (Δομοσκόπηση/Λεπτομερής εκπαίδευση): Μετά την προεκπαίδευση το μοντέλο προσαρμόζεται σε συγκεκριμένες εργασίες με χρήση μικρών ετικετοποιημένων συνόλων δεδομένων.
3. Alignment (Ευθυγράμμιση): Ειδικό στάδιο fine-tuning που στοχεύει στην εναρμόνιση της συμπεριφοράς του μοντέλου με τις ανθρώπινες προτιμήσεις και αξίες. Κεντρική μέθοδος είναι η RLHF (Reinforcement Learning from Human Feedback), όπου το μοντέλο εκπαιδεύεται περαιτέρω με σήμα ανταμοιβής από ένα μοντέλο που προβλέπει ανθρώπινες προτιμήσεις.

Νόμοι κλιμάκωσης και εκδηλούμενες ικανότητες

Εμπειρικές έρευνες έδειξαν ότι η απόδοση των LLM βελτιώνεται προβλέψιμα με την αύξηση τριών παραγόντων: του μεγέθους του μοντέλου (αριθμός παραμέτρων, $N$), του μεγέθους του συνόλου εκπαίδευσης ($D$) και του όγκου υπολογισμών ($C$). Αυτή η εξάρτηση περιγράφεται από νόμους δύναμης (scaling laws).

Ο νόμος που προτάθηκε στην εργασία της OpenAI (Kaplan et al., 2020) δείχνει ότι η συνάρτηση απώλειας $L$ μειώνεται ως συνάρτηση δύναμης των $N$, $D$ και $C$. Μια μεταγενέστερη εργασία της DeepMind (Hoffmann et al., 2022) αναθεώρησε αυτούς τους νόμους (νόμοι Chinchilla), δείχνοντας ότι για τη βέλτιστη εκπαίδευση απαιτείται ισορροπημένη αύξηση τόσο του μεγέθους του μοντέλου όσο και του όγκου των δεδομένων.

Σημαντική συνέπεια της κλιμάκωσης είναι η εμφάνιση εκδηλούμενων ικανοτήτων (emergent abilities) — ποιοτικών άλματα στην απόδοση, όταν το μοντέλο αρχίζει να επιλύει εργασίες για τις οποίες δεν εκπαιδεύτηκε ρητά (π.χ. αριθμητική, λογικός συλλογισμός, συγγραφή κώδικα). Αυτές οι ικανότητες συνήθως απουσιάζουν από μικρότερα μοντέλα και εκδηλώνονται μόνο αφού επιτευχθεί ένα ορισμένο κατώφλι κλίμακας.

Παραγωγή κειμένου: στρατηγικές αποκωδικοποίησης

Μετά την εκπαίδευση, το μοντέλο παράγει κείμενο προβλέποντας επαναληπτικά το επόμενο token. Η επιλογή του επόμενου token από την πιθανοτική κατανομή που εξάγει το μοντέλο πραγματοποιείται με διάφορες στρατηγικές αποκωδικοποίησης:

• Greedy Search (Άπληστη αναζήτηση): Επιλέγεται πάντα το πιο πιθανό token. Γρήγορο, αλλά συχνά οδηγεί σε επαναλαμβανόμενο και μονότονο κείμενο.
• Beam Search: Σε κάθε βήμα διατηρούνται οι $k$ πιο πιθανές ακολουθίες, κάτι που επιτρέπει την εύρεση πιο βέλτιστων καθολικών λύσεων.
• Δειγματοληψία με θερμοκρασία: Οι πιθανότητες των tokens ρυθμίζονται με την παράμετρο θερμοκρασίας ($T$). Όταν $T>1$ η κατανομή γίνεται πιο ομοιόμορφη (μεγαλύτερη δημιουργικότητα), όταν $T<1$ — πιο κορυφωμένη (λιγότερη τυχαιότητα).
• Top-k δειγματοληψία: Σε κάθε βήμα η δειγματοληψία περιορίζεται στα $k$ πιο πιθανά tokens.
• Top-p (Nucleus) δειγματοληψία: Η δειγματοληψία περιορίζεται στο ελάχιστο σύνολο tokens των οποίων η συνολική πιθανότητα υπερβαίνει το κατώφλι $p$. Αυτό επιτρέπει τη δυναμική προσαρμογή του μεγέθους της ομάδας υποψηφίων.

Θεωρητικά προβλήματα και περιορισμοί

• Ψευδαισθήσεις (Hallucinations): Η τάση των μοντέλων να παράγουν πραγματολογικά εσφαλμένες αλλά αληθοφανείς πληροφορίες. Αυτό συνδέεται με το γεγονός ότι τα μοντέλα βελτιστοποιούν την πιθανότητα κειμένου και όχι την αλήθεια του.
• Προκατάληψη (Bias): Τα LLM κληρονομούν και ενισχύουν κοινωνικές, πολιτισμικές και άλλες προκαταλήψεις που υπάρχουν στα δεδομένα εκπαίδευσης.
• Ερμηνευσιμότητα («μαύρο κουτί»): Λόγω του τεράστιου αριθμού παραμέτρων, είναι εξαιρετικά δύσκολο να κατανοηθεί πώς ακριβώς το μοντέλο λαμβάνει αποφάσεις, κάτι που δυσκολεύει τον εντοπισμό σφαλμάτων και δημιουργεί κινδύνους.
• Υπολογιστική πολυπλοκότητα: Ο μηχανισμός self-attention έχει τετραγωνική πολυπλοκότητα ως προς το μήκος της ακολουθίας ($O(n^2)$), κάτι που περιορίζει το μέγιστο μήκος του επεξεργαζόμενου συμφραζόμενου.

Δείτε επίσης

• Μεγάλα γλωσσικά μοντέλα
• BERT
• GPT

Βιβλιογραφία

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.