Synthetic data generation — Δημιουργία συνθετικών δεδομένων

Δημιουργία συνθετικών δεδομένων με τη βοήθεια LLM — είναι η τεχνολογία τεχνητής παραγωγής δεδομένων τα οποία, ως προς τα στατιστικά και δομικά τους χαρακτηριστικά, μιμούνται πραγματικά δεδομένα, χωρίς όμως να περιέχουν πραγματικές προσωπικές πληροφορίες. Η προσέγγιση αυτή, που αξιοποιεί τις δυνατότητες των μεγάλων γλωσσικών μοντέλων (LLM), έχει καταστεί βασικό εργαλείο στη σύγχρονη Machine Learning για την αντιμετώπιση προβλημάτων έλλειψης δεδομένων, εμπιστευτικότητας και υψηλού κόστους χειροκίνητης σήμανσης.

Ορισμός και προϋποθέσεις

Τι είναι τα συνθετικά δεδομένα;

Συνθετικά δεδομένα είναι τεχνητά παραγόμενες πληροφορίες που αναπαράγουν τις στατιστικές ιδιότητες και τα πρότυπα ενός πρωτότυπου, πραγματικού συνόλου δεδομένων. Το Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας των ΗΠΑ (NIST) τα ορίζει ως δεδομένα που διατηρούν τις στατιστικές ιδιότητες του πρωτοτύπου, χωρίς να αποκαλύπτουν μεμονωμένες λεπτομέρειες. Σε αντίθεση με την απλή ανωνυμοποίηση, η σύνθεση δεδομένων δημιουργεί εξ ολοκλήρου νέες εγγραφές, εξασφαλίζοντας υψηλότερο επίπεδο προστασίας της ιδιωτικότητας.

Γιατί προέκυψε η ανάγκη;

Η αυξανόμενη ζήτηση για συνθετική παραγωγή οφείλεται σε έναν αριθμό παραγόντων:

• Έλλειψη δεδομένων: Σε πολλούς τομείς, ιδίως σε εξειδικευμένα πεδία, τα ποιοτικά επισημειωμένα δεδομένα δεν επαρκούν για την εκπαίδευση robust μοντέλων.
• Υψηλό κόστος σήμανσης: Η χειροκίνητη σήμανση δεδομένων είναι εργατοεντατική και δαπανηρή διαδικασία.
• Απαιτήσεις εμπιστευτικότητας: Νομικοί και ηθικοί κανόνες (π.χ. GDPR) περιορίζουν τη χρήση πραγματικών δεδομένων που περιέχουν προσωπικές, ιατρικές ή οικονομικές πληροφορίες.
• Ανισορροπία κλάσεων: Στα πραγματικά δεδομένα, ορισμένα σημαντικά αλλά σπάνια γεγονότα (edge cases) ενδέχεται να είναι ανεπαρκώς εκπροσωπημένα, εμποδίζοντας το μοντέλο να τα μάθει.

Τα LLM, εκπαιδευμένα σε τεράστια σώματα κειμένου και κώδικα, έχουν καταστεί ισχυρό εργαλείο για την αντιμετώπιση αυτών των προβλημάτων, καθώς είναι ικανά να παράγουν συνεκτικό και ποικιλόμορφο περιεχόμενο που μιμείται τα στυλ και τις κατανομές των πραγματικών δεδομένων.

Βασικές μέθοδοι παραγωγής με τη βοήθεια LLM

Υπάρχουν διάφορες βασικές προσεγγίσεις για τη δημιουργία συνθετικών δεδομένων με τη χρήση LLM.

1. Παραγωγή βάσει prompt (Prompt-based)

Πρόκειται για άμεση μέθοδο κατά την οποία το LLM παράγει δεδομένα βάσει ενός κειμενικού ερωτήματος (prompt).

• Zero-shot (από μηδενική βάση): Το μοντέλο παράγει παραδείγματα βασιζόμενο μόνο στην περιγραφή της εργασίας, χωρίς να παρέχονται δείγματα. Η προσέγγιση αυτή ευνοεί την ποικιλομορφία, αλλά μπορεί να οδηγεί σε λιγότερο συναφή αποτελέσματα.
• Few-shot (με λίγα παραδείγματα): Στο prompt συμπεριλαμβάνονται μερικά παραδείγματα (δείγματα) της επιθυμητής εξόδου. Αυτό κατευθύνει το μοντέλο και αυξάνει τη συνάφεια των παραγόμενων δεδομένων, ωστόσο ενέχει κίνδυνο αντιγραφής και απώλειας ποικιλομορφίας, καθώς το μοντέλο τείνει να αντιγράφει πρότυπα.

2. Παραγωγή με συμπλήρωση εξωτερικών πληροφοριών (Retrieval-Augmented)

Η μέθοδος αυτή αποσκοπεί στη βελτίωση της πραγματολογικής ορθότητας των συνθετικών δεδομένων και στη μείωση του κινδύνου ψευδαισθήσεων (hallucinations). Το μοντέλο δεν βασίζεται αποκλειστικά στις εσωτερικές του γνώσεις, αλλά χρησιμοποιεί παρεχόμενο πλαίσιο από αξιόπιστη εξωτερική πηγή. Για παράδειγμα, για την παραγωγή ζεύγους «ερώτηση-απάντηση», πρώτα ανακτάται μια σχετική παράγραφος από τη Βικιπαίδεια και στη συνέχεια ζητείται από το LLM να διατυπώσει ερώτηση και απάντηση βασισμένες αυστηρά σε αυτό το κείμενο.

3. Επαναληπτική βελτίωση και αυτο-εκπαίδευση (Self-Refinement)

Αυτή η κατηγορία μεθόδων χρησιμοποιεί έναν βρόχο ανατροφοδότησης για τη βελτίωση της ποιότητας των δεδομένων. Το πιο γνωστό παράδειγμα είναι η μέθοδος Self-Instruct.

1. Το μοντέλο παράγει ένα αρχικό σύνολο δεδομένων.
2. Τα δεδομένα αυτά χρησιμοποιούνται για fine-tuning του ίδιου του μοντέλου (ή αντιγράφου του).
3. Αναλύονται τα σφάλματα και οι αδυναμίες του μοντέλου στα παραγόμενα δεδομένα.
4. Ζητείται από το μοντέλο να παράγει νέα, πιο σύνθετα παραδείγματα παρόμοια με εκείνα στα οποία έκανε λάθη.

Ακριβώς με αυτό το σχήμα δημιουργήθηκε το διάσημο dataset Stanford Alpaca — 52.000 ζεύγη «εντολή-απόκριση», παραγόμενα από το μοντέλο GPT-3, τα οποία επέτρεψαν το fine-tuning του ανοιχτού μοντέλου LLaMA σε επίπεδο βοηθού που ακολουθεί εντολές.

4. Μεταεπεξεργασία και φιλτράρισμα

Μετά την παραγωγή δεδομένων εφαρμόζεται πάντα φιλτράρισμα για την αποκοπή παραδειγμάτων κακής ποιότητας. Οι μέθοδοι κυμαίνονται από απλές (διαγραφή διπλότυπων, έλεγχος μορφότυπου) έως σύνθετες, όπως:

• Χρήση μοντέλου-κριτή: Εκπαιδεύεται ξεχωριστός ταξινομητής που διακρίνει πραγματικά δεδομένα από συνθετικά και αποκλείει τα λιγότερο ρεαλιστικά δείγματα.
• Φιλτράρισμα βάσει εμπιστοσύνης: Διατηρούνται μόνο τα παραδείγματα για τα οποία το LLM προβλέπει με υψηλή βεβαιότητα τη σωστή απάντηση/ετικέτα.
• Στάθμιση δεδομένων: Στα παραδείγματα που είναι ύποπτα για σφάλματα ή ψευδαισθήσεις αποδίδεται μικρότερο βάρος στη συνάρτηση απωλειών κατά την εκπαίδευση, ώστε να μειωθεί η αρνητική τους επίδραση (μέθοδος SunGen).

5. Εκπαίδευση με ανατροφοδότηση εκτέλεσης (Execution Feedback)

Η μέθοδος αυτή είναι ιδιαίτερα αποτελεσματική για την παραγωγή κώδικα προγράμματος. Σε αντίθεση με το κείμενο φυσικής γλώσσας, ο κώδικας έχει επίσημο κριτήριο ορθότητας — μπορεί να εκτελεστεί. Ο κύκλος έχει ως εξής:

1. Το LLM παράγει κώδικα για την επίλυση μιας εργασίας.
2. Ο κώδικας εκτελείται αυτόματα και ελέγχεται ως προς τη συμμόρφωσή του με τα τεστ.
3. Οι σωστές λύσεις συμπεριλαμβάνονται στο σύνολο εκπαίδευσης. Οι εσφαλμένες απορρίπτονται ή το μοντέλο λαμβάνει σήμα (reward) για τη διόρθωση του σφάλματος.

Εφαρμογές συνθετικών δεδομένων

• Βελτίωση εργασιών σε συνθήκες έλλειψης δεδομένων: Τα συνθετικά δεδομένα είναι πιο αποτελεσματικά όταν τα πραγματικά επισημειωμένα δεδομένα είναι λίγα. Έρευνες δείχνουν ότι η προσθήκη 100 συνθετικών παραδειγμάτων σε 100 πραγματικά μπορεί να αυξήσει την ακρίβεια του ταξινομητή κατά 3–26%.
• Δημιουργία συνόλων εντολών (Instruction Tuning): Έργα όπως το Alpaca και το Code Alpaca απέδειξαν ότι με τη βοήθεια LLM μπορούν να δημιουργηθούν μεγάλα και ποιοτικά σύνολα δεδομένων για την εκπαίδευση μοντέλων-βοηθών σχεδόν από το μηδέν.
• Αναζήτηση πληροφοριών και απαντήσεις σε ερωτήσεις (QA): Η μέθοδος InPars χρησιμοποιεί LLM για την παραγωγή ερωτημάτων αναζήτησης σε υπάρχοντα έγγραφα. Αυτό επιτρέπει την αυτόματη δημιουργία ζευγών «ερώτηση — σχετικό έγγραφο» για την εκπαίδευση συστημάτων αναζήτησης.
• Προστασία εμπιστευτικότητας: Στην ιατρική και στα οικονομικά, τα συνθετικά δεδομένα χρησιμοποιούνται για την εκπαίδευση μοντέλων χωρίς πρόσβαση σε πραγματικά προσωπικά δεδομένα. Για παράδειγμα, το Υπουργείο Υποθέσεων Βετεράνων των ΗΠΑ παρήγαγε συνθετικά ιατρικά δεδομένα κατά τη διάρκεια της πανδημίας COVID-19 για την ανταλλαγή πληροφοριών.

Πλεονεκτήματα και κίνδυνοι

Πλεονεκτήματα

• Μείωση κόστους και επιτάχυνση ανάπτυξης: Η παραγωγή δεδομένων από το μοντέλο είναι σημαντικά φθηνότερη και ταχύτερη από τη χειροκίνητη σήμανση.
• Κλιμακωσιμότητα: Τα συνθετικά δεδομένα μπορούν να παραχθούν σε σχεδόν απεριόριστες ποσότητες.
• Ελεγξιμότητα: Ο προγραμματιστής μπορεί να ρυθμίζει ευέλικτα τη σύνθεση, το στυλ και την πολυπλοκότητα των παραγόμενων δεδομένων.
• Τήρηση εμπιστευτικότητας: Παρέχουν ανωνυμοποιημένη εναλλακτική για εργασία με ευαίσθητα δεδομένα.
• Ανθεκτικότητα μοντέλων (Robustness): Η εκπαίδευση σε ποικιλόμορφα και ακόμη «δύσκολα» συνθετικά παραδείγματα καθιστά τα μοντέλα λιγότερο επιρρεπή σε υπερπροσαρμογή (overfitting) και πιο ανθεκτικά σε μη συνήθεις εισόδους.

Περιορισμοί και κίνδυνοι

• Πραγματολογικές ανακρίβειες (ψευδαισθήσεις): Τα LLM μπορούν να παράγουν εσφαλμένα γεγονότα τα οποία, εφόσον συμπεριληφθούν στο σύνολο εκπαίδευσης, παγιώνονται στα νέα μοντέλα.
• Ανεπαρκής ρεαλισμός: Τα συνθετικά κείμενα μπορεί να είναι υπερβολικά τυποποιημένα, επίσημα ή να μην αντικατοπτρίζουν την πολυμορφία της ζωντανής γλώσσας, μειώνοντας τη γενικευτική ικανότητα του μοντέλου.
• Ενίσχυση συστημικών αποκλίσεων (Bias): Τα LLM κληρονομούν και ενδέχεται να ενισχύουν τα κοινωνικά στερεότυπα και τις προκαταλήψεις που υπάρχουν στα δεδομένα εκπαίδευσής τους.
• Κίνδυνος «κατάρρευσης μοντέλου»: Φαινόμενο κατά το οποίο η επαναληπτική εκπαίδευση μοντέλων σε δεδομένα που παράχθηκαν από προηγούμενες εκδόσεις μοντέλων οδηγεί σε σταδιακή υποβάθμιση της ποιότητας και «λήθη» σπάνιων φαινομένων.
• Πιθανές διαρροές εμπιστευτικότητας: Χωρίς ειδικά μέτρα (π.χ. διαφορική ιδιωτικότητα), τα LLM ενδέχεται να αναπαράγουν τυχαία αποσπάσματα πραγματικών δεδομένων από το σύνολο εκπαίδευσής τους, εγκυμονώντας κίνδυνο αποανωνυμοποίησης.

Προοπτικές και κατευθύνσεις έρευνας

• Αυτοματοποίηση επιλογής prompt: Ανάπτυξη μεθόδων που εντοπίζουν αυτόματα τα βέλτιστα prompt για την παραγωγή ποιοτικών δεδομένων.
• Πολυτροπική συνθετική παραγωγή: Επέκταση των μεθοδολογιών στην παραγωγή συνδυαστικών δεδομένων (κείμενο + εικόνα, ήχος, βίντεο).
• Ανάπτυξη μετρικών ποιότητας: Δημιουργία τυποποιημένων benchmark για την αξιολόγηση της χρησιμότητας, της ποικιλομορφίας και του ρεαλισμού των συνθετικών δεδομένων.
• Διαχείριση αποκλίσεων: Ανάπτυξη μεθόδων για τον έλεγχο και τη μείωση της προκατάληψης στα παραγόμενα δεδομένα, π.χ. μέσω παραγωγής αντιπραγματικών παραδειγμάτων.
• Ασφαλής εφαρμογή σε βιομηχανίες: Ανάπτυξη νομικών και ηθικών προτύπων για τη χρήση συνθετικών δεδομένων σε κρίσιμους τομείς.

Σύνδεσμοι

• Άρθρο επισκόπησης: Synthetic Data Generation Using Large Language Models (2025)
• Ιστολόγιο Google Research σχετικά με την παραγωγή δεδομένων με διαφορική ιδιωτικότητα

Βιβλιογραφία

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.