LLM error mitigation — Μείωση σφαλμάτων LLM

Μείωση σφαλμάτων σε μεγάλα γλωσσικά μοντέλα (LLM) — είναι ένα σύνολο μεθόδων και τεχνολογιών που αποσκοπούν στη βελτίωση της ακρίβειας, της αξιοπιστίας και της ασφάλειας συστημάτων τεχνητής νοημοσύνης βασισμένων σε αρχιτεκτονική transformer. Το πρόβλημα των σφαλμάτων, και ιδιαίτερα των ψευδαισθήσεων (hallucinations), αποτελεί ένα από τα βασικά εμπόδια για την ευρεία υιοθέτηση των LLM σε κρίσιμους τομείς. Σύμφωνα με έρευνες των ετών 2024–2025, η συχνότητα των hallucinations σε δημόσια διαθέσιμα LLM κυμαίνεται μεταξύ 3% και 16%.

Τυπολογία σφαλμάτων

Η σύγχρονη ταξινόμηση των σφαλμάτων LLM περιλαμβάνει αρκετές βασικές κατηγορίες, καθεμία από τις οποίες απαιτεί ειδικές προσεγγίσεις για τη μετριασμό των επιπτώσεών τους.

Hallucinations

Hallucinations αποτελούν τη δημιουργία αληθοφανούς αλλά ουσιαστικά λανθασμένου περιεχομένου. Σύμφωνα με την έρευνα των Huang et al. (2023), διακρίνονται δύο βασικοί τύποι:

• Πραγματικές hallucinations — απόκλιση από επαληθεύσιμα γεγονότα, συμπεριλαμβανομένης της κατασκευής ανύπαρκτων γεγονότων (παραποίηση). Σε έρευνα του 2024, το Πανεπιστήμιο Stanford διαπίστωσε ότι τα LLM επινόησαν περισσότερες από 120 ανύπαρκτες δικαστικές υποθέσεις.
• Λογικές hallucinations — διαταραχή της λογικής ακολουθίας στη συλλογιστική.

Τα στατιστικά στοιχεία του 2024 δείχνουν ότι τα chatbot παρουσιάζουν hallucinations στο 27% των περιπτώσεων, ενώ το 46% των παραγόμενων κειμένων περιέχει πραγματικά σφάλματα.

Συστηματικές αποκλίσεις (Bias)

Οι αποκλίσεις στα LLM εκδηλώνονται με τη μορφή κοινωνικών προκαταλήψεων (π.χ. συσχέτιση επαγγελμάτων με συγκεκριμένο φύλο) και δημογραφικών διαφορών στις επιδόσεις. Έρευνες του 2024 έδειξαν ότι μεταξύ 10 δοκιμασμένων μοντέλων η διαφορά στις βαθμολογίες για διαφορετικές δημογραφικές ομάδες μπορεί να φτάσει τους 4 βαθμούς στους 10.

Τοξικότητα

Η τοξικότητα ορίζεται ως η παραγωγή προσβλητικού, επιβλαβούς ή διακριτικού περιεχομένου. Η μετρική τοξικότητας κυμαίνεται σε ευρύ φάσμα ανάλογα με το μοντέλο και το πλαίσιο χρήσης.

Μέθοδοι μείωσης σφαλμάτων

Οι στρατηγικές αντιμετώπισης σφαλμάτων μπορούν να διαιρεθούν σε δύο μεγάλες ομάδες: μέθοδοι που τροποποιούν το μοντέλο και τη διαδικασία εκπαίδευσης, και μέθοδοι που εφαρμόζονται στο στάδιο της εξαγωγής αποτελεσμάτων (inference).

Τροποποίηση μοντέλου και διαδικασίας εκπαίδευσης

Fine-tuning και Instruction Tuning

Supervised Fine-Tuning (SFT) επιτρέπει την προσαρμογή προεκπαιδευμένων μοντέλων σε εξειδικευμένες εργασίες. Για τη μείωση του υπολογιστικού κόστους εφαρμόζονται μέθοδοι Parameter-Efficient Fine-Tuning (PEFT), όπως LoRA και QLoRA, οι οποίες μπορούν να μειώσουν το κόστος fine-tuning έως και 99% διατηρώντας παράλληλα την αποτελεσματικότητα.

Reinforcement Learning από ανθρώπινη ανατροφοδότηση (RLHF)

Το RLHF είναι μια διφασική διαδικασία, κατά την οποία αρχικά εκπαιδεύεται ένα μοντέλο ανταμοιβής βάσει ανθρώπινων προτιμήσεων, και στη συνέχεια το κύριο LLM βελτιστοποιείται για να παράγει απαντήσεις που μεγιστοποιούν αυτή την ανταμοιβή. Η μέθοδος απέδειξε την αποτελεσματικότητά της στα μοντέλα InstructGPT και GPT-4, βελτιώνοντας σημαντικά την ανταπόκρισή τους στις προσδοκίες των χρηστών.

Constitutional AI

Αναπτυγμένη από την εταιρεία Anthropic, η μέθοδος Constitutional AI αποτελεί εναλλακτική λύση έναντι του RLHF. Αντί για άμεση ανθρώπινη ανατροφοδότηση, το μοντέλο εκπαιδεύεται να ακολουθεί ένα σύνολο αρχών («σύνταγμα»). Αυτό μειώνει την ανάγκη για ανθρώπινη εποπτεία κατά 80-90% και αποτρέπει αποτελεσματικά την παραγωγή επιβλαβούς περιεχομένου.

Αρχιτεκτονικές λύσεις

• Mixture of Experts (MoE): Αρχιτεκτονική με αραιή ενεργοποίηση που επιτρέπει σημαντική αύξηση της χωρητικότητας του μοντέλου χωρίς ανάλογη αύξηση του υπολογιστικού κόστους. Εικάζεται ότι το GPT-4 χρησιμοποιεί 8 experts με 220 δισεκατομμύρια παραμέτρους το καθένα.
• Τροποποιήσεις μηχανισμού attention: Τεχνικές όπως το Grouped Query Attention (GQA) (στα μοντέλα Llama 3) και το Sparse Attention μειώνουν την υπολογιστική πολυπλοκότητα και τις απαιτήσεις μνήμης, επιτρέποντας την επεξεργασία μεγαλύτερων contexts.

Μέθοδοι στο στάδιο εξαγωγής αποτελεσμάτων (inference)

Retrieval-Augmented Generation (RAG)

Το RAG είναι μια από τις πιο αποτελεσματικές μεθόδους μείωσης πραγματικών σφαλμάτων. Πριν από τη δημιουργία της απάντησης, το σύστημα απευθύνεται σε μια εξωτερική βάση γνώσεων (π.χ. Wikipedia, εταιρική τεκμηρίωση, επιστημονικά άρθρα), ανακτά σχετικές πληροφορίες και τις διαβιβάζει στο μοντέλο μαζί με το αρχικό ερώτημα. Αυτό «αγκυρώνει» την απάντηση σε επαληθευμένα γεγονότα. Τα συστήματα RAG επιτυγχάνουν 56,8% exact match στο benchmark TriviaQA και υπερτερούν των παραδοσιακών μοντέλων κατά 60–80% στη μείωση πραγματικών σφαλμάτων.

Προηγμένες τεχνικές prompting

• Chain-of-Thought (CoT): Prompting που ωθεί το μοντέλο να παράγει βήμα-βήμα αλυσίδα συλλογισμών πριν δώσει την τελική απάντηση. Αυτό βελτιώνει σημαντικά τα αποτελέσματα σε εργασίες που απαιτούν λογικές και μαθηματικές υπολογιστικές επεξεργασίες.
• Chain of Draft (CoD): Εξέλιξη του CoT, κατά την οποία το μοντέλο επαναληπτικά επεξεργάζεται προσχέδια της απάντησής του, επιτυγχάνοντας συγκρίσιμη με το CoT ακρίβεια με χρήση σημαντικά λιγότερων token.

Εσωτερική αυτοδιόρθωση (Intrinsic Self-Correction)

Έρευνες TACL του 2024 έδειξαν ότι η ικανότητα των LLM για αυτοδιόρθωση χωρίς εξωτερικές πληροφορίες είναι περιορισμένη. Η αποτελεσματική αυτοδιόρθωση απαιτεί κατά κανόνα τη χρήση εξωτερικών εργαλείων, όπως διερμηνευτές κώδικα για επαλήθευση υπολογισμών ή μηχανές αναζήτησης για επικύρωση γεγονότων.

Μέθοδοι αξιολόγησης σφαλμάτων

Για τη μέτρηση της προόδου στη μείωση σφαλμάτων χρησιμοποιούνται εξειδικευμένες μετρικές και benchmarks.

• Παραδοσιακές μετρικές: Perplexity, BLEU και ROUGE. Είναι χρήσιμες για την αξιολόγηση της ευχέρειας και της αντιστοίχισης n-gram, αλλά αντιμετωπίζουν δυσκολίες στην αξιολόγηση της πραγματικής ακρίβειας.
• Σύγχρονες προσεγγίσεις:
  • FactScore αποσυνθέτει μεγάλα κείμενα σε ατομικά γεγονότα και αξιολογεί το ποσοστό των γεγονότων που επιβεβαιώνονται από τη βάση γνώσεων.
  • SAFE (Search-Augmented Factuality Evaluator) — μέθοδος της Google που χρησιμοποιεί αναζήτηση για επαλήθευση γεγονότων και επιτυγχάνει 72% συμφωνία με ανθρώπινες αξιολογήσεις, λειτουργώντας 20 φορές φθηνότερα.
  • TruthfulQA — benchmark που εστιάζει στην ικανότητα των μοντέλων να αποφεύγουν την παραγωγή κοινών παρανοήσεων.

Βιβλιογραφία

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.