Large language model — Μεγάλα Γλωσσικά Μοντέλα

Μεγάλο γλωσσικό μοντέλο (large language model, LLM) — είναι ένας τύπος μοντέλου Machine Learning, υλοποιημένος με τη βοήθεια βαθιού Neural Network με μεγάλο αριθμό παραμέτρων (συνήθως δισεκατομμύρια και άνω) και εκπαιδευμένος σε μεγάλους όγκους κειμενικών δεδομένων. Ο όρος «μεγάλο» σε αυτό το πλαίσιο αναφέρεται ταυτόχρονα στην κλίμακα των παραμέτρων και στον όγκο του εκπαιδευτικού corpus, ο οποίος στα σύγχρονα συστήματα φτάνει αρκετά petabyte και τρισεκατομμύρια token. Τα μοντέλα LLM εκπαιδεύονται κυρίως με τη μέθοδο αυτο- ή ημι-αυτο-εποπτευόμενης μάθησης (self-/semi-supervised), προβλέποντας το επόμενο token στην ακολουθία και αφομοιώνοντας έτσι τις στατιστικές νομοτέλειες της γλώσσας. Η αύξηση των παραμέτρων, των δεδομένων και των υπολογιστικών βημάτων οδηγεί σε προβλέψιμη βελτίωση της ποιότητας, κάτι που επιβεβαιώνουν οι scaling laws.

Μετά την εμφάνιση του BERT (2017) και ιδιαίτερα του GPT-3 (2020), η προσέγγιση LLM κυριάρχησε στην επεξεργασία φυσικής γλώσσας. Τα σύγχρονα μοντέλα (GPT-4o, Claude 3, Gemini 1.5, LLaMA 3 κ.ά.) χωρίς ειδική ρύθμιση μπορούν να γράφουν κείμενα και κώδικα προγράμματος, να μεταφράζουν, να συνοψίζουν, να απαντούν σε ερωτήσεις και να κατασκευάζουν αλυσίδες συλλογισμών· οι πολυτροπικές εκδόσεις αναλύουν εικόνα, ήχο και βίντεο. Η προσαρμογή σε εφαρμοσμένη εργασία γίνεται με fine-tuning ή prompt engineering (in-context learning). Μαζί με τα επιτεύγματά τους, τα LLM κληρονομούν προκαταλήψεις και σφάλματα των αρχικών δεδομένων, είναι επιρρεπή σε «ψευδαισθήσεις» και απαιτούν μεγάλους υπολογιστικούς πόρους, γι' αυτό η έρευνα σήμερα επικεντρώνεται στην ευθυγράμμιση συμπεριφοράς, στο φιλτράρισμα corpus και σε ενεργειακά αποδοτικές αρχιτεκτονικές.

Αρχιτεκτονική

Στα σύγχρονα LLM σχεδόν πάντα χρησιμοποιείται η αρχιτεκτονική Transformer (μετασχηματιστής) – δίκτυο με μηχανισμό self-attention. Το μοντέλο Transformer προτάθηκε για πρώτη φορά στο άρθρο Attention is All You Need από προγραμματιστές της Google το 2017.

Η αρχιτεκτονική Transformer είναι ένα βασικό νευρωνικό σχήμα για εργασία με ακολουθίες, που περιλαμβάνει δύο λογικές μονάδες — encoder (κωδικοποιεί την είσοδο) και decoder (παράγει την έξοδο). Στην είσοδο λαμβάνεται μια ακολουθία, δημιουργείται η διανυσματική αναπαράστασή της (embedding), προστίθεται το διάνυσμα positional encoding, μετά από το οποίο το σύνολο των στοιχείων χωρίς να λαμβάνεται υπόψη η σειρά στην ακολουθία εισάγεται στο κωδικοποιητικό συστατικό (παράλληλη επεξεργασία), και στη συνέχεια το αποκωδικοποιητικό συστατικό λαμβάνει ως είσοδο ένα μέρος αυτής της ακολουθίας και την έξοδο του κωδικοποιητικού. Ως αποτέλεσμα παράγεται μια νέα ακολουθία εξόδου.

Το κωδικοποιητικό συστατικό του transformer αποτελείται από αρκετά πανομοιότυπα επίπεδα-κωδικοποιητές· ανάλογα δομημένο είναι και το αποκωδικοποιητικό συστατικό. Ο ίδιος ο transformer είναι μια ακολουθία μοντέλων attention, τα οποία μετασχηματίζουν την αρχική ακολουθία διανυσμάτων σε νέα ακολουθία, όπου κάθε στοιχείο λαμβάνει υπόψη το πλαίσιο των υπολοίπων. Ο encoder σχηματίζει κρυφές αναπαραστάσεις των δεδομένων εισόδου, διατηρώντας πληροφορίες για τις αλληλεπιδράσεις μεταξύ των στοιχείων. Ο decoder βάσει κρυφών αναπαραστάσεων δημιουργεί μια νέα ακολουθία embedding για τα token εξόδου. Στη συνέχεια βάσει αυτών των embedding με τη βοήθεια γλωσσικού μοντέλου παράγονται τα τελικά στοιχεία εξόδου.

Επειδή οι transformer αναπτύχθηκαν αρχικά για εργασίες όπως η μηχανική μετάφραση, η αρχιτεκτονική τους περιλαμβάνει encoder (που επεξεργάζεται το κείμενο εισόδου, π.χ. την αρχική πρόταση) και decoder (που παράγει την έξοδο, π.χ. τη μετάφραση). Ωστόσο, σε πολλά γλωσσικά μοντέλα χρησιμοποιείται μόνο το τμήμα decoder, που λειτουργεί σε αυτοπαλίνδρομο (autoregressive) τρόπο.

Οι transformer εφαρμόζονται σε τρεις βασικές διαμορφώσεις, καθεμία από τις οποίες χρησιμοποιεί διαφορετικά τον encoder και τον decoder και απευθύνεται στο δικό της εύρος εργασιών:

• Encoder-transformers (αμφίδρομοι) μαθαίνουν να αποκαθιστούν σκόπιμα κρυμμένα τμήματα κειμένου, επομένως ταιριάζουν καλά για εργασίες «κατανόησης» — ταξινόμηση, εξαγωγή γεγονότων, σημασιολογική αναζήτηση.
• Decoder-transformers (αυτοπαλίνδρομοι) βελτιστοποιούνται για πρόβλεψη του επόμενου token και χρησιμοποιούνται εκεί όπου χρειάζεται ροϊκή έξοδος: διαλογικοί πράκτορες, αυτόματη συμπλήρωση κώδικα, δημιουργική παραγωγή.
• Πλήρη σχήματα «encoder + decoder» συνδυάζουν και τις δύο προσεγγίσεις: ο encoder δημιουργεί αναπαράσταση όλου του κειμένου εισόδου, και ο decoder, στηριζόμενος σε αυτήν, σχηματίζει σταδιακά το αποτέλεσμα. Αυτή η διαμόρφωση είναι πιο αποτελεσματική για μηχανική μετάφραση, περίληψη και συστήματα ερωτήσεων-απαντήσεων.

Τοκενοποίηση

Τοκενοποίηση (tokenization) — είναι το βασικό αρχικό στάδιο επεξεργασίας κειμένου στα μεγάλα γλωσσικά μοντέλα. Σε αυτό το στάδιο η συνεχής συμβολοσειρά χαρακτήρων διαχωρίζεται σε επιμέρους μονάδες — token. Η τοκενοποίηση εκτελεί την εργασία μετατροπής μιας ακολουθίας χαρακτήρων σε ακολουθία δομημένων στοιχείων που εξασφαλίζουν αποτελεσματική λειτουργία του Neural Network.

Από γλωσσολογική άποψη, η τοκενοποίηση θα μπορούσε σε κάποιο βαθμό να αντιστοιχεί στη διαδικασία εντοπισμού ελάχιστων γλωσσικών μονάδων που φέρουν αυτόνομο νόημα ή λειτουργικό φορτίο, όπως λέξεις, μορφήματα ή τμήματά τους. Ωστόσο, συχνά ένα token είναι απλώς μια στατιστικά συχνά εμφανιζόμενη ακολουθία χαρακτήρων, γι' αυτό είναι σημαντικό να μην υπερεκτιμάται η γλωσσολογική ουσιαστικότητα όλων των token. Ανάλογα με το επιλεγμένο σχήμα, ένα token μπορεί να είναι: ολόκληρη λέξη, υπολέξη, μεμονωμένος χαρακτήρας, ειδικό σήμα (π.χ. δείκτες αρχής και τέλους ακολουθίας).

Η τοκενοποίηση επιτρέπει:

• τον περιορισμό του μεγέθους του λεξιλογίου σε αποδεκτές διαστάσεις·
• την ορθή επεξεργασία σπάνιων και νέων λέξεων·
• τη διασφάλιση μονοσήμαντης αντιστοίχισης κειμένου σε ακολουθία αριθμητικών αναγνωριστικών.

Για τον διαχωρισμό κειμένου εφαρμόζονται αλγόριθμοι υπολέξεων, από τους οποίους οι πιο διαδεδομένοι είναι Byte Pair Encoding (BPE), WordPiece και UnigramLM. Καθένας από αυτούς δημιουργεί λεξιλόγιο από τα πιο συχνά τμήματα του corpus και το χρησιμοποιεί για διαδοχική κατάτμηση οποιουδήποτε κειμένου εισόδου.

Μετά το στάδιο τοκενοποίησης, κάθε μονάδα κειμένου — token — μετατρέπεται σε αριθμητική αναπαράσταση κατανοητή από το Neural Network. Αυτή η διαδικασία περιλαμβάνει αρκετά διαδοχικά βήματα:

• Μετατροπή token σε αναγνωριστικά: Κάθε token αντιστοιχίζεται με έναν μοναδικό αριθμητικό δείκτη βάσει προκατασκευασμένου λεξιλογίου token. Τα κειμενικά token αντικαθίστανται από τα μοναδικά αριθμητικά αναγνωριστικά τους (ID). Κάθε ID είναι ο αριθμός του token στο προκατασκευασμένο λεξιλόγιο, γεγονός που επιτρέπει στο Neural Network να εργάζεται με αριθμούς αντί για λέξεις.
• Μετατροπή αναγνωριστικών σε embedding: Για κάθε αναγνωριστικό token εξάγεται ή υπολογίζεται το αντίστοιχο διάνυσμα σταθερής διάστασης — embedding. Αυτή η πολυδιάστατη αριθμητική αναπαράσταση αντικαθιστά το ID και περιέχει ήδη πληροφορίες σχετικά με τη σημασία και τις πλαισιακές ιδιότητες του token. Όλα τα embedding έχουν το ίδιο μήκος για ευκολία επεξεργασίας.
• Προσθήκη positional encodings: Επειδή η αρχιτεκτονική Transformer από μόνη της δεν λαμβάνει υπόψη τη σειρά των στοιχείων, στα embedding προστίθενται positional encodings, τα οποία παρέχουν πληροφορίες για τη θέση του token στην ακολουθία. Με άλλα λόγια, χάρη σε αυτό το μοντέλο «γνωρίζει» ποιο token είναι πρώτο, δεύτερο, τρίτο κ.ο.κ. στην πρόταση.
• Σχηματισμός πινάκων εισόδου: Στην έξοδο παράγεται πίνακας διάστασης [длина последовательности × размерность эмбеддинга], ο οποίος χρησιμεύει ως αρχική αναπαράσταση κειμένου και διαβιβάζεται στην είσοδο του Neural Network, ειδικότερα στα μπλοκ self-attention του Transformer. Κάθε γραμμή αυτού του πίνακα αντιστοιχεί σε ένα token, και το διάνυσμα που περιέχεται σε αυτή φέρει τόσο τη σημασιολογική του αξία (embedding) όσο και πληροφορίες για τη θέση του στο κείμενο (positional encoding).

Текст → Токены → Идентификаторы → Эмбеддинги + Позиционные кодировки → Вход в модель

Μηχανισμός Προσοχής

Μηχανισμός προσοχής (attention mechanism) — είναι ο βασικός συστατικός της αρχιτεκτονικής Transformer, ο οποίος εξασφαλίζει τη δυνατότητα λήψης υπόψη εξαρτήσεων μεταξύ token ανεξάρτητα από την απόσταση μεταξύ τους στην ακολουθία. Αφού το κείμενο εισόδου μετατραπεί σε ακολουθία διανυσμάτων, αυτή η ακολουθία εισάγεται στο κεντρικό στοιχείο του transformer — το μπλοκ προσοχής (attention block).

Ο μηχανισμός προσοχής αποτελεί έναν τρόπο για το Neural Network να καθορίζει σε ποια μέρη των δεδομένων εισόδου πρέπει να δίνει μεγαλύτερη προσοχή κατά την επεξεργασία κάθε στοιχείου της ακολουθίας. Χάρη σε αυτόν, τα διανύσματα επιμέρους τμημάτων κειμένου μπορούν να αλληλεπιδρούν μεταξύ τους, εμπλουτιζόμενα με πληροφορίες και ενημερώνοντας τις τιμές τους λαμβάνοντας υπόψη το περιβάλλον πλαίσιο. Χάρη σε αυτό, το μοντέλο αποκτά τη δυνατότητα να καταγράφει αποτελεσματικά τόσο τοπικές όσο και μακρινές εξαρτήσεις μεταξύ token, γεγονός που βελτιώνει σημαντικά την ικανότητά του να ερμηνεύει σύνθετες δομές κειμένου.

Στη φυσική γλώσσα η σημασία μιας λέξης ή έκφρασης δεν ορίζεται απομονωμένα — εξαρτάται από το πλαίσιο, δηλαδή από άλλες λέξεις και δομές στο περιβάλλον. Στα Neural Network το κείμενο κωδικοποιείται μέσω διανυσματικών αναπαραστάσεων — embedding, τα οποία αντικατοπτρίζουν αριθμητικά τις λεξικές και συντακτικές ιδιότητες των token. Χωρίς μηχανισμό άμεσης προσοχής (όπως στο Transformer), οι πληροφορίες για το πλαίσιο είτε θα χάνονταν σε μεγάλες αποστάσεις (όπως σε απλά μοντέλα) είτε θα μεταδίδονταν διαδοχικά, κάτι που είναι λιγότερο αποτελεσματικό για τη σύλληψη μακρινών συνδέσεων. Ωστόσο, στη φυσική γλώσσα η σημασία μιας λέξης ή συντακτικής κατασκευής είναι δυναμική, και η ερμηνεία της πρέπει να προσαρμόζεται ανάλογα με το πλαίσιο. Ο μηχανισμός προσοχής εκτελεί πλαισιοποίηση των διανυσματικών αναπαραστάσεων, που σημαίνει (ή απλώς :):

• Κάθε token «αξιολογεί» τη σημασία του σε σχέση με άλλα token στην πρόταση.
• Κατά τη διαδικασία ενημέρωσης, οι διανυσματικές αναπαραστάσεις εμπλουτίζονται με αμοιβαίες πληροφορίες, αντικατοπτρίζοντας συντακτικές εξαρτήσεις, σημασιολογικούς ρόλους και πραγματολογικό πλαίσιο.

Ως αποτέλεσμα αυτής της ανταλλαγής πληροφοριών, τα ενημερωμένα διανύσματα αρχίζουν να κωδικοποιούν όχι μόνο τη σημασία του ίδιου του token, αλλά και τις γραμματικές του συνδέσεις (σύνταξη), τον ρόλο του στην περιγραφόμενη κατάσταση (σημασιολογία) και τη γενική έννοιά του στο πλαίσιο (πραγματολογία).

Входные векторы токенов (с позициями) → Механизм Внимания (Взаимодействие векторов) → Контекстуализированные векторы токенов (Векторы обогащенные информацией о связях с другими токенами)

Τεχνική υλοποίηση του μηχανισμού προσοχής

Η εσωτερική δομή του μηχανισμού προσοχής περιλαμβάνει αρκετά βασικά υπολογιστικά βήματα και συστατικά. Για κάθε διάνυσμα εισόδου παράγονται τρία διανύσματα: Ερώτηση (Query), Κλειδί (Key) και Τιμή (Value). Βάσει της αλληλεπίδρασής τους υπολογίζονται βάρη προσοχής, τα οποία στη συνέχεια χρησιμοποιούνται για απόκτηση ενημερωμένων, πλαισιοποιημένων διανυσματικών αναπαραστάσεων. Μια διαδεδομένη προσέγγιση είναι η χρήση της αρχιτεκτονικής πολλαπλών κεφαλών (Multi-Head Attention) για παράλληλη επεξεργασία πληροφοριών.

Ερώτηση (Query), Κλειδί (Key), Τιμή (Value)

Στη βάση του υπολογισμού του μηχανισμού προσοχής βρίσκεται η μετατροπή κάθε διανύσματος εισόδου (που αποτελεί άθροισμα του embedding του token και του positional encoding του) σε τρεις διαφορετικές διανυσματικές αναπαραστάσεις: Ερώτηση (Query, Q), Κλειδί (Key, K) και Τιμή (Value, V).

Εννοιολογικά αυτά τα τρία διανύσματα εκτελούν τους εξής ρόλους στον μηχανισμό προσοχής:

• Ερώτηση (Query): Αντιπροσωπεύει το διάνυσμα του τρέχοντος token, το οποίο εκκινεί τη διαδικασία αναζήτησης σχετικών πληροφοριών στην ακολουθία. Μπορεί να νοηθεί ως «ερώτηση» ή «ανιχνευτής», που χρησιμοποιείται για αξιολόγηση της σημασίας των άλλων token σε σχέση με το τρέχον.
• Κλειδί (Key): Λειτουργεί ως αναγνωριστικό ή «ετικέτα», που περιγράφει μια πτυχή του περιεχομένου κάθε token. Το διάνυσμα Ερώτησης (Q) του τρέχοντος token συγκρίνεται με όλα τα διανύσματα Κλειδιών (K) στην ακολουθία (συμπεριλαμβανομένου του δικού του) για τον προσδιορισμό του βαθμού αντιστοιχίας ή συνάφειάς τους.
• Τιμή (Value): Περιέχει τις πραγματικές πληροφορίες ή αναπαράσταση που σχετίζεται με κάθε token και θα διαβιβαστεί παρακάτω. Αφού υπολογιστούν τα βάρη προσοχής βάσει της αλληλεπίδρασης Ερωτήσεων και Κλειδιών, αυτά τα βάρη εφαρμόζονται στα διανύσματα Τιμών για τον σχηματισμό της τελικής σταθμισμένης αναπαράστασης, η οποία αποτελεί και την έξοδο του μηχανισμού προσοχής για το συγκεκριμένο token.

Εκπαίδευση μεγάλων γλωσσικών μοντέλων

Η εκπαίδευση LLM πραγματοποιείται κυρίως σε δύο στάδια:

1. Προεκπαίδευση (Pretraining) Σε αυτό το στάδιο το μοντέλο εκπαιδεύεται σε μεγάλα μη σημασιολογημένα corpus κειμένου με τη μέθοδο αυτο-εποπτευόμενης μάθησης (self-supervised learning). Η εργασία συνίσταται στην πρόβλεψη του επόμενου token στην ακολουθία (αυτοπαλινδρόμηση) ή στην αποκατάσταση κρυμμένων τμημάτων (masked learning). Η προεκπαίδευση επιτρέπει στο μοντέλο να αφομοιώσει εκτεταμένες στατιστικές νομοτέλειες γλώσσας, γραμματική, γεγονότα για τον κόσμο και βασικές μορφές συλλογισμού.
2. Fine-tuning (Λεπτή ρύθμιση) Μετά την προεκπαίδευση το μοντέλο εκπαιδεύεται περαιτέρω σε εξειδικευμένα δεδομένα για την εκτέλεση συγκεκριμένων εργασιών, π.χ. παραγωγή απαντήσεων, ταξινόμηση κειμένων ή εκτέλεση οδηγιών. Οι σύγχρονες προσεγγίσεις περιλαμβάνουν:
   • Fine-tuning σε σημασιολογημένα dataset (supervised fine-tuning).
   • Reinforcement Learning from Human Feedback (RLHF) για τη διόρθωση της συμπεριφοράς του μοντέλου σύμφωνα με τους στόχους ποιότητας, ασφάλειας και χρησιμότητας.

Προβλήματα και περιορισμοί

Παρά την εντυπωσιακή πρόοδο, τα σύγχρονα Μεγάλα Γλωσσικά Μοντέλα (LLM) έχουν μια σειρά από προβλήματα και περιορισμούς:

Ι. Υπολογιστικοί και Αρχιτεκτονικοί Περιορισμοί

1. Υψηλό υπολογιστικό κόστος: Η εκπαίδευση και λειτουργία LLM απαιτούν σημαντικές υπολογιστικές δυνατότητες, χρόνο και ενέργεια, γεγονός που συνεπάγεται υψηλές οικονομικές και περιβαλλοντικές επιβαρύνσεις. Επιπλέον, η αυτοπαλινδρομική φύση της παραγωγής (διαδοχική δημιουργία token) περιορίζει την παραλληλοποίηση και επιβραδύνει την ταχύτητα εξόδου σε σύγκριση με μη αυτοπαλινδρομικές προσεγγίσεις.
2. Περιορισμός μήκους πλαισίου: Η αρχιτεκτονική Transformer έχει τετραγωνική εξάρτηση του υπολογιστικού κόστους και των απαιτήσεων μνήμης από το μήκος της ακολουθίας. Αυτό αναγκάζει να τίθεται σταθερό όριο (παράθυρο πλαισίου) στον όγκο κειμένου που μπορεί να επεξεργαστεί ταυτόχρονα το μοντέλο, με αποτέλεσμα την περικοπή μεγάλων εγγράφων και απώλεια πληροφοριών πέραν του παραθύρου.

ΙΙ. Προβλήματα Αξιοπιστίας και Ακρίβειας Παραγωγής

1. Ψευδαισθήσεις (Hallucinations): Παραγωγή πραγματολογικά ανακριβούς, αλλά εύλογα ακουόμενης πληροφορίας. Αυτό συνδέεται με την έλλειψη πραγματικής κατανόησης του κόσμου από το μοντέλο, την εξάρτηση από στατιστικές νομοτέλειες στα δεδομένα και την αδυναμία επαλήθευσης των παραγόμενων ισχυρισμών.
2. Συσσώρευση σφαλμάτων (Error Propagation): Διαδικασία κατά την οποία σφάλματα που έγιναν σε πρώιμα στάδια παραγωγής ενισχύονται και οδηγούν σε αύξηση ανακριβειών στα επακόλουθα βήματα, μειώνοντας τη συνολική ποιότητα και συνοχή του κειμένου.
3. Περιορισμένη σύνθεση: Δυσκολίες με εργασίες που απαιτούν πολυβηματική λογική εξαγωγή συμπερασμάτων ή ακριβείς υπολογισμούς (π.χ. πολλαπλασιασμός πολυψήφιων αριθμών, επίλυση γρίφων). Η ακρίβεια των μοντέλων σε τέτοιες εργασίες μειώνεται απότομα με αύξηση της πολυπλοκότητας λόγω της αυτοπαλινδρομικής φύσης της παραγωγής.
4. Επαναλήψεις: Τάση για υπερβολική επανάληψη λέξεων ή φράσεων, μειώνοντας την πληροφορητικότητα και αναγνωσιμότητα του κειμένου. Συνδέεται με τις ιδιαιτερότητες εκπαίδευσης και αλγορίθμων αποκωδικοποίησης (επιλογή επόμενου token).
5. Κατάρα αντιστροφής (Reversal Curse): Αδυναμία του μοντέλου να γενικεύει αυτόματα τη γνώση στην αντίστροφη κατεύθυνση: αφού εκπαιδευτεί στη δήλωση «Α είναι Β», το μοντέλο συχνά δεν μπορεί να συναγάγει το «Β είναι Α».
6. Αντιστάθμιση «δημιουργικότητα-ακρίβεια»: Η ανάγκη εξισορρόπησης μεταξύ παραγωγής ποικίλων, πρωτότυπων απαντήσεων και διατήρησης πραγματολογικής ακρίβειας. Η βελτίωση μιας πτυχής συχνά επηρεάζει αρνητικά την άλλη, π.χ. υψηλή δημιουργικότητα μπορεί να συσχετίζεται με αύξηση ψευδαισθήσεων.

ΙΙΙ. Προβλήματα Αλληλεπίδρασης και Ελέγχου:

1. Χαμηλή ελεγξιμότητα: Δυσκολία ακριβούς ελέγχου του ύφους, του τόνου, του περιεχομένου του παραγόμενου κειμένου ή της τήρησης σύνθετων οδηγιών. Η ελεγξιμότητα εξαρτάται σε μεγάλο βαθμό από την ποιότητα των εισαγόμενων οδηγιών («prompt») και τις μεθόδους fine-tuning.
2. Ευαισθησία στη διατύπωση: Μικρές αλλαγές στο ερώτημα εισόδου (prompt) μπορούν να οδηγούν σε ουσιαστικά διαφορετικές απαντήσεις, ακόμη και αν διατηρείται η σημασιολογία του ερωτήματος. Αυτό δυσχεραίνει την απόκτηση σταθερών και προβλέψιμων αποτελεσμάτων.

IV. Ηθικές και Κοινωνικές Πτυχές:

1. Προβλήματα προκατάληψης και δικαιοσύνης: Τα μοντέλα μπορούν να αναπαράγουν και να ενισχύουν τα υπάρχοντα στα εκπαιδευτικά δεδομένα κοινωνικά στερεότυπα, προκαταλήψεις ή τοξικότητα. Η εξασφάλιση δικαιοσύνης και ασφάλειας των μοντέλων αποτελεί σύνθετη εργασία.
2. Πρόβλημα ευθυγράμμισης (LLM Alignment): Πιο γενικό πρόβλημα που περιλαμβάνει το προηγούμενο σημείο. Πρόκειται για την εργασία εξασφάλισης αντιστοιχίας της συμπεριφοράς του μοντέλου με τις ανθρώπινες αξίες, προθέσεις και ηθικούς κανόνες. Περιλαμβάνει την καταπολέμηση προκατάληψης, ψευδαισθήσεων, παραγωγής επιβλαβούς περιεχομένου και την αύξηση ελεγξιμότητας.
3. Κίνδυνοι κακόβουλης χρήσης: Η δυνατότητα χρήσης LLM για δημιουργία και μαζική διάδοση παραπληροφόρησης, phishing, spam, κακόβουλου κώδικα ή παραγωγής πειστικών ψεύτικων κειμένων, κάτι που εγκυμονεί απειλές για την πληροφοριακή και προσωπική ασφάλεια, καθώς και υπονομεύει την εμπιστοσύνη στην κοινωνία.

Παραπομπές:

• «Μεγάλο γλωσσικό μοντέλο» // Βικιπαίδεια (Ρωσική έκδοση)
• Large Language Model // Wikipedia (English version)
• Grand Modèle de Langage // Wikipédia (Version française)
• Sprachmodell // Wikipedia (Deutsche version)

• Naveed H. και άλλ. // A Comprehensive Overview of Large Language Models // arXiv:2307.06435, 2023

Βιβλιογραφία

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• OpenAI. (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.