Large language model architectures — Αρχιτεκτονικές LLM

Αρχιτεκτονικές μεγάλων γλωσσικών μοντέλων (LLM) — είναι οι θεμελιώδεις αρχές και δομές που καθορίζουν πώς κατασκευάζονται, εκπαιδεύονται και λειτουργούν τα μεγάλα γλωσσικά μοντέλα. Τα σύγχρονα LLM, που είναι ικανά να κατανοούν και να παράγουν ανθρώπινη γλώσσα, βασίζονται σχεδόν εξ ολοκλήρου στην αρχιτεκτονική Transformer, αλλά περιλαμβάνουν πλήθος βελτιώσεων και διαφορετικών προσεγγίσεων που αποσκοπούν στην αύξηση της αποδοτικότητας, της επεκτασιμότητας και των δυνατοτήτων.

Οικογένειες αρχιτεκτονικών LLM (transformers)

Τα σύγχρονα μεγάλα γλωσσικά μοντέλα βασίζονται στην αρχιτεκτονική transformer, αλλά τη χρησιμοποιούν διαφορετικά ανάλογα με τον σκοπό: κατανόηση κειμένου, παραγωγή συνέχειας ή μετατροπή ενός κειμένου σε άλλο. Στην πράξη διακρίνονται τρεις οικογένειες, διατηρώντας τις βασικές αρχές του transformer.

1. Encoder‑only (μόνο κωδικοποιητής, μόνο encoder)

Το μοντέλο χρησιμοποιεί μόνο τη στοίβα κωδικοποιητών και εξετάζει ολόκληρο το κείμενο εισόδου αμφίδρομα. Η προεκπαίδευση συνήθως δομείται ως masked‑language modeling (MLM, γλωσσική μοντελοποίηση με απόκρυψη): μέρος των token αποκρύπτεται και το μοντέλο μαθαίνει να τα ανακτά από το περιβάλλον τους. Χάρη στο αμφίδρομο πλαίσιο, τα μοντέλα αυτά υπερέχουν σε εργασίες κατανόησης και βαθμολόγησης: ταξινόμηση, αναγνώριση οντοτήτων, επαναξιολόγηση εγγράφων και εξαγωγικό QA. Δεν προορίζονται για αυτοπαλίνδρομη παραγωγή «από το μηδέν».

Επιπλέον, στην πράξη χρησιμοποιούνται και εναλλακτικοί στόχοι προεκπαίδευσης για την οικογένεια encoder‑only: replaced token detection (RTD) στο ELECTRA (το μοντέλο-διακριτής αναγνωρίζει τα αντικατεστημένα token) και contrastive learning για bi-encoders σημασιολογικής αναζήτησης/retriever (InfoNCE/softmax‑loss σε ζεύγη «ερώτημα-έγγραφο», όπως στο Dense Passage Retrieval). Όταν χρησιμοποιούνται σε RAG, τα encoder‑only λειτουργούν είτε ως bi-encoder (χωριστή κωδικοποίηση ερωτήματος και εγγράφου για γρήγορη ANN-αναζήτηση), είτε ως cross-encoder (κοινή κωδικοποίηση ζεύγους για ακριβή επαναξιολόγηση).

Πλεονεκτήματα:

• Υψηλή ποιότητα κατανόησης κειμένου χάρη στο αμφίδρομο πλαίσιο: ταξινόμηση, NER, εξαγωγή γεγονότων, επαναξιολόγηση, εξαγωγικό QA.
• Παράλληλη επεξεργασία και υψηλή ρήγα διέλευσης: ένα ευθύ πέρασμα χωρίς αυτοπαλινδρόμηση· βολικό για μαζική βαθμολόγηση σε δέσμες.
• Φυσική ενσωμάτωση με αναζήτηση και RAG: ως bi-encoder — γρήγορη σημασιολογική αναζήτηση· ως cross-encoder — ακριβής επαναξιολόγηση.
• Αποτελεσματική προσαρμογή: σχετικά συμπαγείς παραλλαγές (≈100–300 εκατ. παράμετροι· BERT‑base ≈110 εκατ.) αποδίδουν υψηλή ποιότητα μετά από στοχευμένη λεπτή ρύθμιση.
• Σταθερή λανθάνουσα καθυστέρηση ανεξάρτητη από το μήκος της παραγόμενης απόκρισης (δεν υπάρχει βηματική αποκωδικοποίηση)· κατάλληλα για offline βαθμολόγηση μεγάλων συλλογών.
• Δυνατότητα επέκτασης του παραθύρου πλαισίου στους encoders μέσω σχετικών/περιστροφικών θέσεων και/ή τοπικά αραιής προσοχής (π.χ. Longformer/BigBird), που είναι χρήσιμη για μακριά έγγραφα.

Μειονεκτήματα:

• Δεν υπάρχουν ιδιόκτητες γεννητικές δυνατότητες: για διαλόγους και εκτενείς απαντήσεις απαιτείται decoder ή εξωτερική γεννητική μονάδα.
• Περιορισμός σε διαδραστικά σενάρια: δεν υπάρχει σταδιακή παραγωγή με διατήρηση κατάστασης.
• Ασυμφωνία στόχου προεκπαίδευσης με εργασίες ελεύθερης παραγωγής: το MLM εναρμονίζεται χειρότερα με την παραγωγή σε σύγκριση με την αιτιώδη μοντελοποίηση.
• Ιστορικά περιορισμένο παράθυρο πλαισίου (συχνά 512 token σε βασικές ρυθμίσεις απόλυτων θέσεων)· η επέκταση απαιτεί ειδικά σχήματα θέσεων/προσοχής και/ή λεπτή ρύθμιση.
• Για εργασίες retrieval απαιτείται χωριστή contrastive λεπτή ρύθμιση bi-encoder και/ή cross-encoder· χωρίς αυτή, η ποιότητα αναζήτησης/επαναξιολόγησης είναι συνήθως κατώτερη από εκείνη ειδικά εκπαιδευμένων μοντέλων.

Αντιπροσωπευτικά μοντέλα: BERT και παράγωγα, καθώς και RoBERTa και DeBERTa (εκτεταμένες παραλλαγές encoder‑only)· από τους εναλλακτικούς στόχους προεκπαίδευσης — ELECTRA (RTD).

2. Decoder‑only (μόνο αποκωδικοποιητής, μόνο decoder)

Χρησιμοποιείται μόνο η στοίβα αποκωδικοποιητών με αιτιώδη (αριστερή κατεύθυνση) προσοχή: το μοντέλο προβλέπει το επόμενο token βάσει του ήδη δοθέντος προθέματος. Αυτός ο τρόπος εκπαίδευσης — causal language modeling (CLM) — καθιστά αυτά τα μοντέλα φυσική επιλογή για παραγωγή: διάλογοι, εκτενείς απαντήσεις, δημιουργικό κείμενο, κώδικας προγράμματος. Ο συμβιβασμός είναι η αύξηση καθυστέρησης και όγκου KV‑cache σε μακριά prompt. Στην πράξη για decoder‑only εφαρμόζονται ευρέως τεχνικές μηχανικής: μείωση KV‑cache μέσω MQA και GQA, επιτάχυνση εξαγωγής μέσω speculative decoding και βελτιστοποιήσεις διακομιστή (PagedAttention/vLLM, continuous batching, chunked prefill).

Πλεονεκτήματα:

• Φυσική παραγωγή κειμένου (CLM): ισχυρές zero‑shot και few‑shot ικανότητες· καλή επεκτασιμότητα.
• Ευελιξία εφαρμογής: ένα μοντέλο επιλύει πολλές εργασίες μέσω οδηγιών και παραδειγμάτων στο prompt· συνδυάζεται φυσικά με RAG και κλήση εργαλείων (tool use).
• Ώριμη οικοσύστημα: πρακτικές λεπτής ρύθμισης με οδηγίες και ευθυγράμμισης συμπεριφοράς (RLHF, DPO)· διαθέσιμες ανοικτές και εμπορικές υλοποιήσεις.
• Πλούσιο σύνολο βελτιστοποιήσεων inference: το MQA/GQA μειώνει τον όγκο KV‑cache και αυξάνει τη ρήγα διέλευσης· το speculative decoding επιταχύνει την εξαγωγή χωρίς αλλαγή κατανομής· το PagedAttention/vLLM με continuous batching και chunked prefill βελτιώνουν τη συνολική χρήση GPU.
• Υποστήριξη δομημένης παραγωγής για αυστηρές μορφές απόκρισης (JSON/SQL/DSL), που απλοποιεί την ενσωμάτωση με πληροφοριακά συστήματα και API.

Μειονεκτήματα:

• Αυξημένη καθυστέρηση παραγωγής: διαδοχική εξαγωγή· το κόστος νέου token αυξάνεται με το μήκος του ήδη «διαβασμένου» πλαισίου (KV‑cache).
• Λιγότερο αποτελεσματικό στο προφίλ «μακρά είσοδος – σύντομη έξοδος» (σύνοψη, μετάφραση) σε σύγκριση με encoder–decoder, όπου η είσοδος κωδικοποιείται μία φορά.
• Περιορισμός από μονοκατευθυντικό πλαίσιο: σε εργασίες κατανόησης υστερεί μερικές φορές έναντι μοντέλων με αμφίδρομη αναπαράσταση (encoder‑only / encoder–decoder).
• Η μνήμη για KV‑cache μπορεί να αποτελεί «στενωπό» σε μακριά prompt και μεγάλες δέσμες.
• Η κβαντοποίηση ενεργοποιήσεων/KV (INT8/FP8) επιταχύνει την εξαγωγή, αλλά μπορεί να υποβαθμίζει την ποιότητα σε μακριά πλαίσια/κώδικα· απαιτεί προσεκτική επικύρωση (ιδίως με αυστηρά SLA).

Αντιπροσωπευτικά μοντέλα: GPT‑3, GPT‑4 (λεπτομέρειες αρχιτεκτονικής και συνόλου δεδομένων δεν δημοσιεύονται), LLaMA και Llama 3 (8B/70B, 2024).

3. Encoder–decoder (κωδικοποιητής–αποκωδικοποιητής, encoder-decoder)

Η αρχιτεκτονική συνδυάζει και τα δύο στοιχεία. Ο encoder λειτουργεί σε αμφίδρομη λειτουργία, ενώ ο decoder — αιτιωδώς. Ο encoder αναλύει την είσοδο μία φορά και διαμορφώνει την αναπαράστασή της· ο decoder παράγει την έξοδο προσφεύγοντας σε αυτή την αναπαράσταση μέσω cross‑attention. Αυτή η χωριστή προσέγγιση είναι ιδιαίτερα χρήσιμη εκεί όπου απαιτείται μετατροπή ενός μακρού κειμένου εισόδου σε σύντομη έξοδο: μηχανική μετάφραση, σύνοψη, απαντήσεις βάσει εγγράφων. Αν και η μέθοδος απαιτεί μεγαλύτερες συνολικές υπολογιστικές δαπάνες (δύο στοίβες και cross-attention), το πλεονέκτημά της είναι η ελεγχόμενη παραγωγή βάσει πλήρους ανάλυσης του αρχικού κειμένου· η κωδικοποίηση εκτελείται μία φορά και επαναχρησιμοποιείται καθ' όλη τη διάρκεια της εξαγωγής.

Πλεονεκτήματα:

• Υπό συνθήκες παραγωγή: ο decoder χρησιμοποιεί cross‑attention στην αναπαράσταση της εισόδου.
• Αποτελεσματικό σε σενάριο «μακρά είσοδος → σύντομη έξοδος»: η είσοδος κωδικοποιείται μία φορά.
• Κατάλληλο για μορφή «text‑to‑text» και ελεγχόμενη εξαγωγή (προθέματα εργασίας, ειδικές οδηγίες).
• Σταθερότητα και αποδοτικότητα με μακρά πηγή: στη φάση αποκωδικοποίησης αυξάνεται μόνο το self‑attention στην έξοδο, ενώ το cross‑attention επαναχρησιμοποιεί σταθερά κλειδιά/τιμές από τον encoder (η είσοδος δεν «ξαναδιαβάζεται» σε κάθε βήμα).

Μειονεκτήματα:

• Δύο στοίβες αυξάνουν τις απαιτήσεις μνήμης και υπολογισμών κατά την εκπαίδευση και εφαρμογή.
• Σε υπερμακριές ακολουθίες η συνολική καθυστέρηση είναι συγκρίσιμη με decoder‑only· η αυτοπαλινδρόμηση παραμένει στενωπός.
• Λιγότερα οικουμενικά μοντέλα συνομιλίας σε σύγκριση με decoder‑only· χρησιμοποιούνται συχνότερα ως υψηλής ποιότητας seq2seq-μηχανισμός για συγκεκριμένες εργασίες.
• Με πολύ μακρά είσοδο αυξάνεται η μνήμη για τα κλειδιά/τιμές cross‑attention σε κάθε στρώμα του decoder (σε ολόκληρη την πηγή), κάτι που απαιτεί προσεκτικό σχεδιασμό serving.

Αντιπροσωπευτικά μοντέλα: T5 (συμπεριλαμβανομένου του T5 v1.1 και της πρακτικής λεπτής ρύθμισης με οδηγίες στο FLAN‑T5) και BART.

Πυκνά (dense) transformers

Η κλασική και πιο διαδεδομένη αρχιτεκτονική LLM: κατά την επεξεργασία κάθε token συμμετέχει ουσιαστικά το σύνολο των παραμέτρων του μοντέλου. Σε αντίθεση με αραιές προσεγγίσεις (π.χ. Mixture‑of‑Experts), δεν υπάρχει επιλεκτική ενεργοποίηση υποδικτύων — κάθε μπλοκ λειτουργεί για κάθε token.

Αρχή λειτουργίας και αρχιτεκτονική

Βασική δομή. Το μοντέλο είναι μια στοίβα από N ομοειδή transformer μπλοκ. Κάθε μπλοκ περιλαμβάνει:

1. Πολυκεφαλική αυτο-προσοχή (Multi‑Head Self‑Attention). Για κάθε token υπολογίζονται τρία διανύσματα: Q (query), K (key), V (value)· η προσοχή ορίζεται ως $\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}+M}{\sqrt{d_k}}\right)\cdot V$, όπου $M$ — μάσκα (αιτιώδης και/ή mask padding) που αποκλείει μη επιτρεπτές θέσεις. Πολλές «κεφαλές» προσοχής λαμβάνουν παράλληλα υπόψη διαφορετικές πτυχές του πλαισίου (H κεφαλές, συνήθως $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$)· ο αριθμός τους αυξάνεται με την κλίμακα του μοντέλου.
2. Πλήρως συνδεδεμένο δίκτυο (Feed‑Forward Network, FFN). Δύο γραμμικά στρώματα με μη γραμμικότητα μεταξύ τους (συνήθως GELU/SiLU· σε ορισμένα σύγχρονα μοντέλα — SwiGLU). Η ενδιάμεση διάσταση είναι συνήθως $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$· όταν χρησιμοποιείται SwiGLU συχνά λαμβάνεται $\approx \frac{8}{3}{d}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ για διατήρηση συγκρίσιμου αριθμού παραμέτρων. Το FFN περιέχει σημαντικό μερίδιο παραμέτρων.

Πρόσθετα στοιχεία. Χρησιμοποιούνται υπολειμματικές (residual) συνδέσεις και κανονικοποίηση στρώματος· στα σύγχρονα LLM χρησιμοποιείται συχνότερα Pre‑LN (κανονικοποίηση πριν από τα υπο-μπλοκ) — αυτό βελτιώνει τη σταθερότητα εκπαίδευσης σε μεγάλα βάθη. Εκτός από την κλασική LayerNorm, χρησιμοποιείται ολοένα και περισσότερο η RMSNorm (μειώνει τις υπολογιστικές δαπάνες και λειτουργεί καλά σε μεγάλα μοντέλα)· επίσης σε ορισμένες οικογένειες εφαρμόζεται κανονικοποίηση στον χώρο προσοχής (π.χ. κανονικοποίηση Q/K πριν από το softmax). Οι θέσεις αναπαράστασης μπορεί να είναι απόλυτες ή σχετικές· για μακρά πλαίσια το de facto πρότυπο έχει γίνει το RoPE.

Παραδείγματα μοντέλων και κλίμακα

• BERT‑Large: 24 στρώματα, διάσταση 1024, 16 κεφαλές προσοχής, ≈340 εκατ. παράμετροι.
• GPT‑3 (175B): 96 στρώματα, διάσταση 12288, 96 κεφαλές προσοχής, ≈175 δισ. παράμετροι.
• LLaMA‑65B: 80 στρώματα, διάσταση 8192, 64 κεφαλές προσοχής, ≈65 δισ. παράμετροι.
• PaLM‑540B: 118 στρώματα, διάσταση περίπου 18432, ≈540 δισ. παράμετροι.

Πλεονεκτήματα

• Ομοιόμορφα μπλοκ, καλά μελετημένες λειτουργίες εκπαίδευσης και προβλέψιμη συμπεριφορά κατά την κλιμάκωση.
• Η ποιότητα βελτιώνεται κατά δύναμη με την αύξηση παραμέτρων και δεδομένων· το compute‑optimal σχήμα προϋποθέτει ταυτόχρονη αύξηση μεγέθους μοντέλου και όγκου εκπαιδευτικών token.
• Η ίδια αρχιτεκτονική μετά από λεπτή ρύθμιση καλύπτει ευρύ φάσμα εργασιών χωρίς αλλαγές σε επίπεδο στρωμάτων.

Μειονεκτήματα

• Η πλήρης αυτο-προσοχή έχει τετραγωνική πολυπλοκότητα ως προς το μήκος ακολουθίας ($O(n^2)$), κάτι που περιορίζει το παράθυρο πλαισίου.
• Πλήρης ενεργοποίηση παραμέτρων στο βήμα παραγωγής: στον decoder χωρίς MoE το κόστος εξαγωγής ανά token αυξάνεται περίπου ανάλογα με τον αριθμό παραμέτρων.
• Στενωπός — ρήγα διέλευσης μνήμης (memory‑bound): η φόρτωση βαρών από HBM συχνά περιορίζει την ταχύτητα inference.

Περιορισμοί κλιμάκωσης και πλαισίου

• Η μνήμη για παραμέτρους αυξάνεται γραμμικά με το μέγεθος του μοντέλου· η μνήμη εκπαίδευσης αυξάνεται λόγω κλίσεων και καταστάσεων βελτιστοποιητή.
• Οι βασικές ρυθμίσεις ιστορικά περιορίζονταν σε 2–4 χιλ. token. Τα σύγχρονα σχήματα θέσεων (RoPE) και τεχνικές επέκτασης (Position Interpolation, YaRN κ.ά.) επιτρέπουν αύξηση του παραθύρου κατά τάξη μεγέθους και περισσότερο, αλλά με πρόσθετη υπολογιστική/μνημονική επιβάρυνση.

Σύγχρονες βελτιστοποιήσεις

• FlashAttention. Ακριβής προσοχή λαμβάνοντας υπόψη την ιεραρχία μνήμης GPU· μειώνει τις δαπάνες μνήμης και επιταχύνει εκπαίδευση/inference σε μακριές ακολουθίες.
• Μείωση και διαχείριση KV‑cache. Το Multi‑Query Attention και το Grouped‑Query Attention μειώνουν τον όγκο cache και την κυκλοφορία μνήμης· σε επίπεδο διακομιστή, το PagedAttention (vLLM) αυξάνει τη ρήγα διέλευσης μέσω σελιδοποιημένης διαχείρισης cache.
• Speculative decoding. Ένα προσχέδιο (draft) μοντέλο προτείνει συνέχεια και το κύριο μοντέλο την επαληθεύει γρήγορα· επιτυγχάνεται επιτάχυνση χωρίς αλλαγή της κατανομής εξόδου.

Αραιά μοντέλα (Sparse Models) και Mixture‑of‑Experts (MoE)

Το MoE είναι τρόπος αύξησης της χωρητικότητας μοντέλου χωρίς ανάλογη αύξηση υπολογισμών ανά token. Αντί για ένα μεγάλο FFN μπλοκ στο στρώμα, χρησιμοποιείται σύνολο παράλληλων «εμπειρογνωμόνων» (αρκετά ανεξάρτητα FFN), και ένα εκπαιδεύσιμο δρομολογητή (gating network) επιλέγει για κάθε token τους top‑k πιο σχετικούς εμπειρογνώμονες (συνήθως k=1–2· σε ορισμένα μοντέλα k=4). Ενεργοποιούνται μόνο οι επιλεγμένοι εμπειρογνώμονες· οι έξοδοί τους σταθμίζονται και αθροίζονται. Έτσι ο συνολικός αριθμός παραμέτρων μπορεί να φτάσει εκατοντάδες δισεκατομμύρια ή ακόμα και τρισεκατομμύρια, αλλά σε κάθε βήμα ενεργοποιείται μόνο μικρό μέρος τους.

Παραδείγματα μοντέλων και κλίμακα

• Switch Transformer (Google): έως ~1.6T παραμέτρους· top‑1 δρομολόγηση (ένας εμπειρογνώμονας ανά token). Έδειξε ότι το MoE επιτρέπει δραστική αύξηση χωρητικότητας με συγκρίσιμο κόστος ανά token.
• GLaM (Google): 1.2T παράμετροι, 64 εμπειρογνώμονες ανά στρώμα, top‑2· σε κάθε token ενεργοποιούνται ≈96.6B παράμετροι (≈8%).
• Mixtral 8×7B (Mistral AI): ~46.7B παράμετροι συνολικά, ≈12.9B ενεργοί ανά token, top‑2.
• Mixtral 8×22B: ~141B παράμετροι συνολικά, ≈39B ενεργοί ανά token, top‑2.
• DBRX (Databricks): 132B παράμετροι συνολικά, ≈36B ενεργοί ανά token· 16 εμπειρογνώμονες και top‑4 δρομολόγηση (fine‑grained MoE).

Πλεονεκτήματα

• Το υπολογιστικό κόστος καθορίζεται από τον αριθμό ενεργών εμπειρογνωμόνων k και όχι από το συνολικό αριθμό παραμέτρων: μπορούν να εκπαιδεύονται και να χρησιμοποιούνται μοντέλα τρισεκατομμυρίου κλίμακας με κόστος συγκρίσιμο με πυκνά μοντέλα σαφώς μικρότερου μεγέθους.
• Εξειδίκευση: οι εμπειρογνώμονες αυτόματα «προσαρμόζονται» σε γλώσσες/τομείς/μοτίβα, βελτιώνοντας την ποιότητα σε πολυτομεακές εργασίες.
• Ευέλικτη ανάπτυξη: μπορείτε να κρατάτε στη μνήμη συχνά χρησιμοποιούμενους εμπειρογνώμονες και να φορτώνετε σπάνιους (με κατάλληλη υποδομή).

Περιορισμοί

• Εξισορρόπηση φορτίου: χωρίς κανονικοποίηση ο δρομολογητής μπορεί να «κολλάει» σε μέρος των εμπειρογνωμόνων (router collapse). Απαιτούνται auxiliary losses (load‑balancing) και βελτιωμένα σχήματα δρομολόγησης.
• Πολυπλοκότητα κατανεμημένων υπολογισμών: απαιτείται expert parallelism και ανταλλαγή all‑to‑all· τα επικοινωνιακά έξοδα και η διαχείριση μνήμης γίνονται στενωπός.
• Σταθερότητα εκπαίδευσης: σημαντικές οι ρυθμίσεις δρομολογητή και περιορισμών χωρητικότητας (capacity), αλλιώς ενδέχεται να υποβαθμιστεί η ποιότητα/σύγκλιση.

Σύγχρονες βελτιώσεις

• Expert‑Choice routing: οι εμπειρογνώμονες «επιλέγουν» token, κάτι που βελτιώνει την εξισορρόπηση και τη σύγκλιση με συγκρίσιμο κόστος.
• Fine‑grained MoE: μεγαλύτερος αριθμός μικρότερων εμπειρογνωμόνων (όπως στο DBRX) δίνει λεπτή κοκκίωση εξειδίκευσης.
• Sparse Upcycling: η μετατροπή πυκνού μοντέλου σε MoE από το checkpoint του επιτρέπει σημαντική αύξηση ποιότητας με μέτριο κόστος.

Σκοπιμότητα εφαρμογής MoE

• Μεγάλοι πολυτομεακοί βοηθοί με περιορισμένο compute‑budget.
• Εκπαίδευση σε εκτεταμένα σώματα κειμένου όπου η εξειδίκευση αποφέρει κέρδος.
• Σενάρια με ανεπτυγμένη κατανεμημένη υποδομή (πολλές GPU/TPU και γρήγορα δίκτυα).

Πότε είναι καλύτερα τα πυκνά μοντέλα: περιορισμένη υποδομή (1–2 GPU), αυστηρές απαιτήσεις για προβλέψιμη καθυστέρηση και απλότητα ανάπτυξης.

Retrieval‑Augmented Generation (RAG)

Το RAG είναι ένα αρχιτεκτονικό μοτίβο συστήματος γύρω από LLM, και όχι εσωτερική αρχιτεκτονική του ίδιου του μοντέλου. Συνδυάζει LLM (γεννητικό συστατικό) με εξωτερική βάση γνώσης (συστατικό ανάκτησης), κάτι που επιτρέπει την αντιστάθμιση των περιορισμών της «παραμετρικής μνήμης» του μοντέλου.

• Αρχή λειτουργίας: Πριν από την παραγωγή, το LLM ανακτά σχετικά έγγραφα από εξωτερική πηγή (wiki, εταιρική βάση γνώσης, ιστός) και στηρίζεται σε αυτά κατά τη διαμόρφωση απόκρισης.
• Πλεονεκτήματα:
  • Μείωση παραισθήσεων και βελτίωση πραγματολογικής ακρίβειας.
  • Επικαιρότητα χωρίς πλήρη επανεκπαίδευση μοντέλου.
  • Δυνατότητα παραπομπής και ιχνηλασιμότητας απαντήσεων.
• Εφαρμογή: De facto πρότυπο για εταιρικούς βοηθούς και συστήματα όπου απαιτούνται επαληθεύσιμα γεγονότα και εργασία με ιδιωτικά/εξειδικευμένα δεδομένα.

Μηχανισμοί προσοχής και διαχείριση πλαισίου

Η βασική αυτο-προσοχή έχει τετραγωνική πολυπλοκότητα ως προς το μήκος ακολουθίας ($O(n^2)$), γι' αυτό εμφανίστηκαν βελτιστοποιήσεις.

• Αραιή προσοχή (Sparse Attention): Περιορισμός προσοχής σε τοπικά παράθυρα/μοτίβα. Παραδείγματα: Longformer, BigBird.
• FlashAttention: Αναδιάταξη σειράς υπολογισμών λαμβάνοντας υπόψη την ιεραρχία μνήμης GPU· δίνει σημαντικό κέρδος σε χρόνο και μνήμη και έχει γίνει de facto πρότυπο κατά την εκπαίδευση LLM με μακρό πλαίσιο.
• MQA/GQA (επιτάχυνση αποκωδικοποίησης): Multi‑Query Attention (κοινά κλειδιά/τιμές για όλες τις κεφαλές) μειώνει την κυκλοφορία KV‑cache. Grouped‑Query Attention εξισορροπεί ποιότητα/ταχύτητα.
• Βελτιωμένες θέσεις αναπαράστασης:
  • ALiBi (Attention with Linear Biases): Γραμμικές μετατοπίσεις στις βαθμολογίες προσοχής βελτιώνουν τη γενίκευση σε μεγαλύτερα μήκη.
  • RoPE (Rotary Position Embeddings): Σχετικές θέσεις πληροφορίας μέσω περιστροφής Q/K· χρησιμοποιείται ευρέως σε σύγχρονα μοντέλα (π.χ. LLaMA).
  • Επέκταση πλαισίου για μοντέλα RoPE: Position Interpolation , YaRN , καθώς και τροποποιήσεις NTK‑aware επιτρέπουν αποτελεσματική αύξηση του παραθύρου πλαισίου χωρίς αλλαγή αρχιτεκτονικής.

• Άλλες προσεγγίσεις για μακριές ακολουθίες:
  • Transformer‑XL: αναδρομική μνήμη μεταξύ τμημάτων για μοντελοποίηση απομακρυσμένων εξαρτήσεων.
  • Reformer: LSH‑attention και αντιστρέψιμα υπολειμματικά μπλοκ για εξοικονόμηση μνήμης.
  • Performer: γραμμική προσέγγιση softmax‑attention (FAVOR+).
  • Linformer: χαμηλής τάξης προσέγγιση πίνακα προσοχής.

Βελτιστοποιήσεις μοντέλων και υποδομή εκπαίδευσης

Για την εκπαίδευση και ανάπτυξη LLM χρησιμοποιούνται εξειδικευμένες τεχνικές και πλαίσια.

• Κβαντοποίηση (Quantization): Η μείωση ακρίβειας βαρών μειώνει τη μνήμη και επιταχύνει τον inference. Το QLoRA επιτρέπει αποτελεσματική λεπτή ρύθμιση 4‑bit μοντέλων (συμπεριλαμβανομένων 65B) με ποιότητα κοντά στην πλήρη ακρίβεια.
• Απόσταξη γνώσης (Knowledge Distillation): Εκπαίδευση Teacher→Student για συμπαγή μοντέλα· παράδειγμα — DistilBERT.
• Κατανεμημένη εκπαίδευση:
  • DeepSpeed και ZeRO — κατανομή παραμέτρων/κλίσεων/καταστάσεων βελτιστοποιητή για εκπαίδευση μοντέλων τρισεκατομμυρίου.
  • Megatron‑LM — τανυστής και αγωγοειδής παραλληλισμός για πολύ μεγάλα transformers.
• Οικοσύστημα και εργαλεία: Το Hugging Face Transformers και το Accelerate παρέχουν τυπικές υλοποιήσεις μοντέλων και ενσωμάτωση με DeepSpeed/FSDP για εκπαίδευση και inference.

Νόμοι κλιμάκωσης και compute‑optimal εκπαίδευση

Οι εμπειρικοί νόμοι κλιμάκωσης δείχνουν ότι το σφάλμα cross-entropy μειώνεται σύμφωνα με νόμο δύναμης με την αύξηση παραμέτρων, δεδομένων και υπολογισμών. Η εργασία Chinchilla διευκρίνισε τις compute‑optimal λειτουργίες: για βέλτιστη αποδοτικότητα το μέγεθος μοντέλου και ο αριθμός εκπαιδευτικών token πρέπει να κλιμακώνονται ταυτόχρονα (παράδειγμα — μοντέλο 70B που εκπαιδεύτηκε σε ~1.4T token υπερτερεί μεγαλύτερων υποεκπαιδευμένων μοντέλων).

Μοντέλα χώρου κατάστασης (State Space Models, SSM)

State Space Models (SSM) — εναλλακτική αρχιτεκτονική ως προς τα transformers για εργασία με μακριές ακολουθίες. Δανείζεται ιδέες από τη θεωρία ελέγχου και την ψηφιακή επεξεργασία σημάτων και επιλύει το κύριο πρόβλημα του self‑attention: την τετραγωνική αύξηση υπολογισμών με την αύξηση μήκους κειμένου.

Βασικό πρόβλημα και λύση

Πρόβλημα των transformers. Το κύριο πρόβλημα των παραδοσιακών transformers είναι η τετραγωνική πολυπλοκότητα προσοχής: κείμενο 10 φορές μεγαλύτερο απαιτεί περίπου 100 φορές περισσότερους υπολογισμούς.

Προσέγγιση SSM. Αντί για «ταυτόχρονη προσοχή σε όλες τις λέξεις», το μοντέλο διατρέχει το κείμενο διαδοχικά και διατηρεί μια συμπαγή εσωτερική κατάσταση μνήμης που ενημερώνεται σε κάθε βήμα. Ως αποτέλεσμα, ο χρόνος και η κατανάλωση μνήμης αυξάνονται περίπου γραμμικά με το μήκος του κειμένου. Ταυτόχρονα, η εκπαίδευση μπορεί να εκτελείται παράλληλα — μέσω συνελικτικής αναπαράστασης πυρήνα (υψηλή ρήγα διέλευσης σε μακριές ακολουθίες).

Αρχή λειτουργίας

Το διακριτό SSM περιγράφεται από εξισώσεις κατάστασης και εξόδου:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

όπου $x_t$ — κατάσταση μνήμης, $u_t$ — είσοδος (token), $y_t$ — έξοδος. Σε βαθιά SSM, οι πίνακες $A,B,C,D$ παραμετροποιούνται ώστε να εξασφαλίζουν σταθερότητα και αποτελεσματικούς υπολογισμούς σε μακριές ακολουθίες. Το ίδιο στρώμα μπορεί να θεωρηθεί:

• αναδρομικό (σάρωση κατά βήματα) — οικονομικός inference στη μνήμη χωρίς KV‑cache·
• συνελικτικό — παράλληλη εκπαίδευση με προυπολογισμένο πυρήνα.

Βασικές αρχιτεκτονικές και υβρίδια

• S4 (Structured State Spaces). Βασική γραμμή SSM με σταθερή παραμετροποίηση πίνακα κατάστασης· επιδεικνύει αποτελεσματικότητα σε πολύ μακριές ακολουθίες.
• Mamba. Επιλεκτικά SSM: οι κανόνες ενημέρωσης μνήμης εξαρτώνται από την τρέχουσα είσοδο (το μοντέλο αποφασίζει μόνο του τι «κρατά στη μνήμη» και τι «ξεχνά»). Η υλοποίηση προσανατολίζεται στην ιεραρχία μνήμης GPU· σύμφωνα με τους συγγραφείς, επιτυγχάνεται πολλαπλή αύξηση ρήγας διέλευσης inference με γραμμική πολυπλοκότητα ως προς μήκος.
• RetNet. Μηχανισμός retention με τρεις τρόπους: παράλληλη εκπαίδευση, αναδρομικός και τμηματικά αναδρομικός inference. Στόχος — συνδυασμός γρήγορης εκπαίδευσης (όπως στα transformers) με οικονομική εξαγωγή (O(1) μνήμη ανά token).
• Υβρίδια Attention+SSM. Παράδειγμα — Jamba (εναλλαγή στρωμάτων Transformer και Mamba συν MoE): αναφέρει υποστήριξη πλαισίων περίπου ~256K token με σημαντικά μικρότερη απαίτηση μνήμης σε σύγκριση με καθαρά transformer μοντέλα παρόμοιας κλάσης.

Πλεονεκτήματα

• Γραμμική πολυπλοκότητα και εξοικονόμηση μνήμης κατά τον inference. Δεν υπάρχει καθολικό self‑attention και KV‑cache· αποθηκεύεται μόνο συμπαγής κατάσταση.
• Παράλληλη εκπαίδευση σε μακριές ακολουθίες. Ο συνελικτικός τρόπος αυξάνει τη ρήγα διέλευσης εκπαίδευσης.
• Αποτελεσματικότητα υλικού. Οι υλοποιήσεις προσανατολίζονται στη σύγχρονη ιεραρχία μνήμης (HBM/SRAM).
• Μακριά πλαίσια και streaming. Τα υβρίδια SSM+Attention είναι πρακτικά για εκατοντάδες χιλιάδες token με μέτριους πόρους.

Περιορισμοί και τρέχουσα πρακτική

• Ωριμότητα οικοσυστήματος. Τα εργαλεία και οι «συνταγές» κλιμάκωσης (οδηγίες, RLHF/DPO) υστερούν ακόμα έναντι του transformer στοίβα.
• Ποιότητα και σταθερότητα. Σε ορισμένες εργασίες τα υβρίδια (Attention+SSM) επιδεικνύουν πιο σταθερό συμβιβασμό «ποιότητα/ταχύτητα/μνήμη» σε σχέση με τα «καθαρά» SSM.

Σύγκριση προσεγγίσεων (γενικά)

Χαρακτηριστικό	Transformers	SSM	Υβρίδια (Attention+SSM)
Πολυπλοκότητα ως προς μήκος	Τετραγωνική (self‑attention)	Γραμμική (σάρωση/συνέλιξη)	Κοντά σε γραμμική
Μνήμη ανά token (inference)	KV‑cache αυξάνεται με πλαίσιο	O(1) κατάσταση	Μέτρια αύξηση
Μακριά πλαίσια	Απαιτούνται ειδικές βελτιστοποιήσεις	Φυσική υποστήριξη	Πρακτικά έως ~256K
Ωριμότητα οικοσυστήματος	Υψηλή	Αναπτυσσόμενη	Αναπτυσσόμενη

Πρακτικές εφαρμογές

• Ανάλυση πολύ μακριών εγγράφων (βιβλία, αναφορές, επιστημονικές ανασκοπήσεις).
• Ροϊκή επεξεργασία και σενάρια συνομιλίας με μακρό ιστορικό χωρίς αύξηση κόστους μνήμης.
• Περιβάλλοντα με περιορισμένους πόρους (κινητές/edge συσκευές).
• Χρονοσειρές και άλλα διαδοχικά δεδομένα.

Αντιπροσωπευτικά μοντέλα: S4, Mamba, RetNet· υβρίδια Attention+SSM (Jamba).

Εξέλιξη αρχιτεκτονικών

• 2017 — δημοσιεύτηκε το άρθρο «Attention Is All You Need». Παρουσιάστηκε η αρχιτεκτονική transformer: η πολυκεφαλική αυτο-προσοχή και οι θέσεις κωδικοποίησης επιτρέπουν εκπαίδευση μοντέλων χωρίς αναδρομικότητα και συνελίξεις· ωστόσο η προσοχή έχει τετραγωνική πολυπλοκότητα ως προς το μήκος πλαισίου.

• 2018 — παρουσιάστηκαν τα GPT‑1 και BERT. Το GPT‑1 χρησιμοποιεί στοίβα μόνο αποκωδικοποιητών με αιτιώδη προσοχή για παραγωγή και επακόλουθη λεπτή ρύθμιση· το BERT εισάγει αμφίδρομο encoder και προεκπαίδευση MLM για εργασίες κατανόησης κειμένου.

• 2019 — προτάθηκαν τρόποι εργασίας με μακριές ακολουθίες και κλιμακώθηκε το decoder‑only. Το Transformer‑XL προσθέτει «μνήμη» και σχετικές θέσεις για υπέρβαση σταθερού παραθύρου· το GPT‑2 δείχνει αύξηση zero‑shot ικανοτήτων με αύξηση κλίμακας· το BART επιδεικνύει αποτελεσματικότητα denoising προεκπαίδευσης για seq2seq.

• 2020 — ενοποιήθηκε η μορφή «text‑to‑text» και δείχτηκαν μέθοδοι για μακριά έγγραφα. Το T5 διατυπώνει ενιαία προσέγγιση encoder–decoder για διαφορετικές εργασίες· τα Longformer και BigBird χρησιμοποιούν αραιή/δομημένη προσοχή για μακριά κείμενα· το GPT‑3 επιβεβαιώνει την αποτελεσματικότητα κλιμάκωσης πυκνού decoder‑only.

• 2021 — βελτιώθηκαν οι αναπαραστάσεις θέσεων και δείχτηκε αραιότητα παραμέτρων (MoE). Τα RoPE και ALiBi βελτιώνουν τη γενίκευση σε μεγάλα μήκη· τα Switch Transformer και GLaM ενεργοποιούν μόνο μέρος εμπειρογνωμόνων ανά token, αυξάνοντας τη χωρητικότητα χωρίς ανάλογη αύξηση κόστους εξαγωγής.

• 2022 — διευκρινίστηκε η compute‑optimal λειτουργία και επιταχύνθηκε η εξαγωγή σε μακριά prompt. Το Chinchilla δείχνει το πλεονέκτημα περισσότερων εκπαιδευτικών token με μέτριο μέγεθος μοντέλου· το PaLM με Multi‑Query Attention μειώνει τον όγκο KV‑cache· το FlashAttention επιταχύνει την προσοχή στις GPU.

• 2023 — αυξήθηκαν τα παράθυρα πλαισίου χωρίς αλλαγή στρωμάτων και βελτιώθηκε η σερβάρισμα διακομιστή. Η σειρά LLaMA εδραιώνει πρακτικές (RMSNorm, SwiGLU, RoPE)· τα Position Interpolation και YaRN επεκτείνουν το πλαίσιο· το vLLM/PagedAttention διαχειρίζεται αποτελεσματικότερα τον KV‑cache.

• 2023 — τα GPT‑4 και Gemini επιδεικνύουν επεξεργασία και παραγωγή σε πολλαπλές τροπικότητες στο πλαίσιο μιας οικογένειας μοντέλων.

• 2023 — προτάθηκαν μοντέλα χώρου κατάστασης (SSM). Τα Mamba και RetNet επαναφέρουν διαδοχική επεξεργασία με συμπαγή κατάσταση αντί KV‑cache και θέτουν τη βάση για υβριδικές αρχιτεκτονικές.

• 2024 — δημοσιεύτηκαν ανοικτά MoE μοντέλα και υβρίδια Attention+SSM· επιταχύνθηκε η προσοχή σε νέες GPU. Τα Mixtral 8×7B/8×22B και DBRX επιβεβαιώνουν την πρακτικότητα του MoE· το Jamba συνδυάζει Transformer και Mamba για πολύ μακριά πλαίσια· το FlashAttention‑3 αυξάνει τη ρήγα διέλευσης.

Παραπομπές

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — οπτική εξήγηση

Βιβλιογραφία

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768