SuperGLUE (benchmark) (EL)

SuperGLUE — είναι ένα σύνθετο benchmark (σύνολο δοκιμαστικών εργασιών) για την αξιολόγηση συστημάτων επεξεργασίας φυσικής γλώσσας, ιδίως μεγάλων γλωσσικών μοντέλων (LLM). Παρουσιάστηκε το 2019 από μια ομάδα ερευνητών υπό την ηγεσία του Alex Wang από το Πανεπιστήμιο της Νέας Υόρκης με τη συμμετοχή του Facebook AI Research και άλλων οργανισμών.

Η δημιουργία του SuperGLUE οφειλόταν στο γεγονός ότι στα μέσα του 2019 ο προηγούμενος benchmark GLUE είχε καταστεί «εύκολη εργασία» για τα σύγχρονα μοντέλα: ο συνολικός δείκτης των καλύτερων μοντέλων στο GLUE είχε φτάσει στο 88,4, ξεπερνώντας το μέσο ανθρώπινο επίπεδο (87,1). Έτσι, το περιθώριο για περαιτέρω πρόοδο είχε συρρικνωθεί. Ως απάντηση σε αυτό, οι δημιουργοί ανέπτυξαν το SuperGLUE ως μια πιο απαιτητική εναλλακτική, ικανή να εξασφαλίσει αυστηρότερη δοκιμασία κατανόησης γλώσσας από τα μοντέλα. Ο στόχος του SuperGLUE είναι να παρέχει έναν ουδέτερο και δύσκολο να «εκπαιδευτεί» δείκτη προόδου στον τομέα της γενικής γλωσσικής κατανόησης για την αγγλική γλώσσα. Αναμενόταν ότι η αξιόλογη βελτίωση των αποτελεσμάτων στο SuperGLUE θα απαιτούσε ουσιαστικές καινοτομίες στις μεθόδους Machine Learning — για παράδειγμα, αποτελεσματικότερη εκπαίδευση σε μικρά δείγματα, πολυεργασιακή και αυτο-επιβλεπόμενη εκπαίδευση. Με άλλα λόγια, στο SuperGLUE περιλαμβάνονται εργασίες που είναι απλές για τον άνθρωπο αλλά δύσκολες για τη μηχανική νοημοσύνη, προκειμένου να ενθαρρυνθεί η ανάπτυξη μοντέλων με αληθινά βαθιά κατανόηση γλώσσας.

Χαρακτηριστικά και διαφορές από το GLUE

Το SuperGLUE ακολουθεί σε μεγάλο βαθμό τη μορφή του GLUE — προσφέρει έναν ενιαίο συνολικό δείκτη ποιότητας επί του συνόλου των εργασιών, δημόσιο leaderboard και εργαλειοθήκη για την ανάλυση μοντέλων. Ωστόσο, το SuperGLUE εισάγει μια σειρά από βελτιώσεις και καινοτομίες σε σχέση με τον προκάτοχό του:

• Πιο απαιτητικές εργασίες: στο SuperGLUE επιλέχθηκαν οι οκτώ πιο δύσκολες εργασίες. Δύο από αυτές κληρονομήθηκαν από το GLUE (ως οι πιο δύσκολες εκεί), ενώ οι υπόλοιπες επιλέχθηκαν από νέους υποψήφιους βάσει της δυσκολίας τους για σύγχρονα NLP μοντέλα. Έτσι, ο benchmark επικεντρώνεται σε εκείνες τις πτυχές κατανόησης όπου τα μοντέλα είχαν προηγουμένως τα χειρότερα αποτελέσματα.
• Ποικιλία μορφών: ενώ στο GLUE όλες οι εργασίες ανάγονταν σε ταξινόμηση προτάσεων ή ζευγών προτάσεων, το SuperGLUE περιλαμβάνει ένα ευρύτερο φάσμα μορφών. Πέρα από την ταξινόμηση, προστέθηκαν εργασίες αποσαφήνισης αναφορών και ερωταποκρίσεων, που απαιτούν από το μοντέλο κατανόηση συνεκτικού κειμένου και λογικής συναγωγής.
• Αξιολόγηση ανθρώπου σε όλες τις εργασίες: για κάθε εργασία του SuperGLUE έχει υπολογιστεί ένα βασικό επίπεδο απόδοσης ανθρώπου (μη ειδικού), το οποίο επιβεβαιώνει ότι ακόμα και ισχυρά μοντέλα του τύπου BERT υστερούσαν σημαντικά έναντι του ανθρώπου κατά την κυκλοφορία του benchmark. Η ύπαρξη ανθρώπινης αναφοράς (~90% συνολικά) εξασφαλίζει «περιθώριο» βελτίωσης του μοντέλου και χρησιμεύει ως στόχος.
• Διαφανείς κανόνες και εργαλεία: αναθεωρήθηκαν οι κανόνες δημοσίευσης αποτελεσμάτων στο leaderboard (για τη διασφάλιση δίκαιης σύγκρισης και την αναγνώριση της συνεισφοράς των δημιουργών των dataset). Επίσης, δημοσιεύθηκε νέα ανοιχτού κώδικα εργαλειοθήκη για την ευκολότερη fine-tuning και πολυεργασιακή εκπαίδευση μοντέλων στα δεδομένα του SuperGLUE.

Συνολικά, αυτά τα μέτρα καθιστούν το SuperGLUE πιο αξιόπιστο τεστ για τις γενικευμένες γλωσσικές ικανότητες των μοντέλων, μη επιτρέποντας την επίτευξη υψηλών αποτελεσμάτων μέσω στενής εξαπάτησης ή προσαρμογής σε ειδικές μορφές του προηγούμενου GLUE.

Σύνολο εργασιών SuperGLUE

Το SuperGLUE αποτελείται από οκτώ εργασίες, που καλύπτουν διαφορετικές πτυχές κατανόησης κειμένου.

• BoolQ (Boolean Questions): εργασία τύπου ερώτηση-απάντηση (QA), όπου σε κάθε παράδειγμα δίνεται ένα σύντομο κείμενο (απόσπασμα από τη Wikipedia) και μια ερώτηση στην οποία πρέπει να απαντηθεί «ναι» ή «όχι». Οι ερωτήσεις διατυπώνονται από χρήστες (από ερωτήματα αναζήτησης Google) και απαιτούν εξαγωγή ρητού ή σιωπηρού γεγονότος από το κείμενο· η μετρική ποιότητας είναι το ποσοστό σωστών απαντήσεων (accuracy).
• CB (CommitmentBank): εργασία λογικής συνεπαγωγής (textual entailment) με τρεις κλάσεις. Το dataset αποτελείται από σύντομα κείμενα που περιέχουν σύνθετες υποτακτικές προτάσεις· απαιτείται να προσδιοριστεί σε ποιον βαθμό ο συγγραφέας του κειμένου δεσμεύεται στην αλήθεια της ενσωματωμένης δήλωσης. Πρακτικά, ελέγχεται αν η δήλωση συνάγεται από το δεδομένο πλαίσιο. Η εργασία είναι δύσκολη λόγω μικρού μεγέθους δείγματος (περίπου 250 παραδείγματα) και ανισορροπίας κλάσεων· η ποιότητα αξιολογείται με βάση την ακρίβεια και τη μέση F1 ανά κλάση.
• COPA (Choice of Plausible Alternatives): εργασία αιτιακής συλλογιστικής. Στο μοντέλο δίνεται μια προϋπόθεση (μία πρόταση) και πρέπει να επιλέξει τη σωστή αιτία ή συνέπεια από δύο επιλογές. Όλα τα παραδείγματα COPA έχουν διατυπωθεί χειροκίνητα και απαιτούν κοινή λογική για την εξαγωγή αιτιακής σύνδεσης. Η θεματολογία περιλαμβάνει καταστάσεις από blog και εξειδικευμένη εγκυκλοπαίδεια· η μετρική είναι η ακρίβεια (ποσοστό σωστών επιλογών). Παράδειγμα: δίνεται η πρόταση «το παιδί απέκτησε ανοσία στην ασθένεια» και η ερώτηση «ποια είναι η αιτία;» — ο άνθρωπος αντιλαμβάνεται αμέσως ότι η σωστή απάντηση είναι «έλαβε εμβόλιο», ενώ το μοντέλο πρέπει να μαντέψει την αιτιακή σύνδεση.
• MultiRC (Multi-Sentence Reading Comprehension): εργασία κατανόησης κειμένου πολλαπλών προτάσεων με στοιχεία πολλαπλής επιλογής. Το μοντέλο λαμβάνει μια παράγραφο κειμένου, μια ερώτηση σχετικά με το περιεχόμενο της παραγράφου και μια λίστα πιθανών απαντήσεων· πρέπει να προσδιοριστεί ποιες απαντήσεις είναι σωστές (κάθε ερώτηση μπορεί να έχει πολλές σωστές απαντήσεις). Χαρακτηριστικά: για την απάντηση στην ερώτηση απαιτείται γενικά η σύνθεση πληροφοριών από πολλές προτάσεις του κειμένου, ελέγχοντας την ικανότητα του μοντέλου να συνδέει γεγονότα. Η ποιότητα μετράται με δύο μετρικές: F1 ανά απάντηση (λαμβάνει υπόψη μερικώς σωστά σύνολα) και Exact Match — ποσοστό ερωτήσεων με πλήρως σωστά σύνολα απαντήσεων.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): εργασία ανάγνωσης με κατανόηση και χρήση γνώσης. Αποτελεί τροποποιημένο Cloze-test: δίνεται ένα ειδησεογραφικό κείμενο (άρθρο CNN/Daily Mail) και μια πρόταση με ελλείπουσα οντότητα-λέξη· το μοντέλο πρέπει να επιλέξει ποια οντότητα από το κείμενο ταιριάζει στη θέση του κενού. Οι επιλογές απαντήσεων ορίζονται ως όλες οι οντότητες που αναφέρονται στο άρθρο, οι οποίες μπορεί να ταυτίζονται ουσιαστικά. Για επιτυχή επίλυση απαιτείται κατανόηση πλαισίου και κοινή λογική. Οι μετρικές είναι το μέγιστο token-level F1 και το Exact Match (ακριβής αντιστοιχία) επί των προβλεπόμενων απαντήσεων.
• RTE (Recognizing Textual Entailment): εργασία δυαδικής ταξινόμησης για κειμενική συνεπαγωγή (entailment vs. not entailment). Το dataset συνδυάζει παραδείγματα από πολλούς διαγωνισμούς αναγνώρισης κειμενικής συναγωγής (σειρά RTE 1-5). Κάθε εργασία περιέχει ένα ζεύγος κειμενικών αποσπασμάτων (premise-hypothesis)· το μοντέλο πρέπει να προσδιορίσει αν η υπόθεση συνάγεται από το κείμενο. Σε αντίθεση με πολλά μεγάλα dataset, το RTE είναι αρκετά μικρό (περίπου 2.500 παραδείγματα εκπαίδευσης), αλλά έδειξε σημαντικό κέρδος από transfer learning: η ακρίβεια αυξήθηκε από ~56% (επίπεδο τυχαίας εικασίας) σε ~86% με την εμφάνιση μοντέλων τύπου BERT. Ωστόσο, κατά την κυκλοφορία του SuperGLUE η ακρίβεια των μοντέλων εξακολουθούσε να υστερεί έναντι του ανθρώπου κατά περίπου 8 ποσοστιαίες μονάδες, γι' αυτό το RTE συμπεριλήφθηκε ως μία από τις εργασίες που διατηρούσαν χάσμα από το ανθρώπινο επίπεδο.
• WiC (Word-in-Context): εργασία για την αποσαφήνιση πολυσημίας λέξης σε πλαίσιο (WSD). Δίνονται δύο ανεξάρτητες προτάσεις, σε καθεμία από τις οποίες εμφανίζεται η ίδια πολύσημη λέξη· πρέπει να προσδιοριστεί αν η λέξη χρησιμοποιείται με την ίδια σημασία και στις δύο περιπτώσεις. Τα δεδομένα προέρχονται από λεξιλογικούς πόρους (WordNet, VerbNet, Wiktionary), καλύπτοντας ευρύ φάσμα λέξεων και σημασιών. Η εργασία είναι τυποποιημένη ως δυαδική ταξινόμηση και αξιολογείται βάσει ποσοστού σωστών απαντήσεων. Το WiC απαιτεί από το μοντέλο κατανόηση λεπτών σημασιολογικών διαφορών, ελέγχοντας ουσιαστικά τη λεξική σημασιολογία.
• WSC (Winograd Schema Challenge): εργασία για την αποσαφήνιση αναφορών με χρήση κοινής λογικής. Κάθε εργασία αποτελείται από μία πρόταση που περιέχει μια αντωνυμία και μια λίστα δύο οντοτήτων (ουσιαστικών) από την ίδια πρόταση. Απαιτείται να προσδιοριστεί σε ποιο από τα προτεινόμενα ουσιαστικά αναφέρεται η συγκεκριμένη αντωνυμία. Παράδειγμα κλασικής winograd πρότασης: «Το τρόπαιο δεν χωρούσε στη βαλίτσα γιατί ήταν πολύ μικρή» — ο άνθρωπος καταλαβαίνει ότι «αυτή» αναφέρεται στη βαλίτσα (η βαλίτσα ήταν πολύ μικρή). Τέτοια παραδείγματα είναι αδύνατο να επιλυθούν χωρίς καθημερινή γνώση και πλαίσιο. Στο GLUE υπήρχε ήδη μια απλοποιημένη εκδοχή αυτής της εργασίας (WNLI), αλλά τα μοντέλα δεν μπορούσαν για μεγάλο διάστημα να ξεπεράσουν καν το επίπεδο της τυχαιότητας. Μόνο ειδικές τεχνικές, όπως η προσθήκη εξωτερικών δεδομένων με παρόμοια παραδείγματα, ανέβασαν την ποιότητα των μοντέλων στο WSC στο ~90% έως το 2019. Ωστόσο, ο άνθρωπος επιλύει εργασίες WSC σχεδόν χωρίς λάθη (~96-100% σωστές απαντήσεις). Στο SuperGLUE συμπεριλήφθηκε η αρχική έκδοση WSC σε μορφή δυαδικής ταξινόμησης (για κάθε ζεύγος «αντωνυμία-οντότητα» το μοντέλο απαντά αν ταυτίζονται κατά αναφορά). Αυτή η εργασία παραμένει ένα από τα πιο δύσκολα τεστ που απαιτούν commonsense συλλογισμό.

Όλα τα τεστ SuperGLUE έχουν κλειστά σύνολα δοκιμής με απαντήσεις άγνωστες στους προγραμματιστές. Τα μοντέλα υποβάλλουν τις προβλέψεις τους σε διακομιστή, όπου υπολογίζεται το συνολικό σκορ — η ακρίβεια μέσου όρου ανά εργασία (για εργασίες με πολλαπλές μετρικές υπολογίζεται πρώτα ο εσωτερικός μέσος όρος). Ένα τέτοιο ενιαίο SuperGLUE score απλοποιεί τη σύγκριση μοντέλων ως προς το γενικό επίπεδο γλωσσικής νοημοσύνης.

Αποτελέσματα και πρόοδος μοντέλων

Κατά την κυκλοφορία του SuperGLUE, οι συγγραφείς παρέθεσαν ως αναφορά τα αποτελέσματα ενός ισχυρού βασικού μοντέλου (ενισχυμένου BERT) — και αυτά αποδείχθηκαν σημαντικά κατώτερα των ανθρώπινων σε όλες τις εργασίες. Κατά μέσο όρο, το καλύτερο τότε μοντέλο σκόραρε περίπου 20 μονάδες λιγότερο από τον άνθρωπο στη συνολική μετρική. Σε μεμονωμένες εργασίες το χάσμα ήταν ιδιαίτερα μεγάλο: για παράδειγμα, στην εργασία WSC το μοντέλο μόλις έφτανε ~65% ακρίβεια έναντι 100% του ανθρώπου (υστέρηση ~35 μονάδες). Ακόμα και στις φαινομενικά «ευκολότερες» εργασίες (BoolQ, CB, RTE, WiC) τα αυτόματα συστήματα υστερούσαν κατά ~10 μονάδες έναντι του ανθρώπινου επιπέδου. Αυτές οι διαφορές επιβεβαίωσαν ότι το SuperGLUE πράγματι αποτελεί σοβαρή πρόκληση για τις τρέχουσες τεχνολογίες και δεν μπορεί να επιλυθεί τετριμμένα.

Ωστόσο, μόλις λίγους μήνες μετά την εμφάνιση του SuperGLUE ξεκίνησε ταχεία πρόοδος. Στα τέλη του 2019, ερευνητές της Google παρουσίασαν το μοντέλο T5 (Text-To-Text Transfer Transformer) με 11 δισεκατομμύρια παραμέτρους, το οποίο επέτυχε συνολικό αποτέλεσμα 88,9, πλησιάζοντας ασφυκτικά το ανθρώπινο επίπεδο ~89,8. Στην πραγματικότητα, το T5 βελτίωσε το προηγούμενο ρεκόρ στο SuperGLUE κατά 4,3 μονάδες και μείωσε το ποσοστό σφαλμάτων σχεδόν κατά ένα τρίτο, αφήνοντας ελάχιστο χάσμα μόλις 0,9 μονάδων από τον δείκτη του ανθρώπου. Οι προγραμματιστές επισήμαναν ότι το SuperGLUE έχει επιλεγεί σκόπιμα έτσι ώστε οι εργασίες να είναι απλές για τους ανθρώπους, γι' αυτό η επίτευξη επιπέδου ~89% από το μοντέλο αποτέλεσε σημαντικό ορόσημο.

Το πρώτο μοντέλο που κατάφερε να υπερβεί τη μέση ανθρώπινη απόδοση ήταν το DeBERTa της Microsoft (Decoding-enhanced BERT with disentangled attention). Τον Ιανουάριο του 2021, ερευνητές ανακοίνωσαν ότι η έκδοση DeBERTa με 1,5 δισεκατομμύρια παραμέτρους σκόραρε 89,9 μονάδες, ελαφρώς πάνω από το ανθρώπινο σημείο αναφοράς 89,8. Αυτή ήταν η πρώτη φορά που ένα μεμονωμένο μοντέλο υπερέβαινε τον άνθρωπο στη μετρική SuperGLUE. Επιπλέον, ένα σύνολο (ensemble) από πολλά μοντέλα DeBERTa ανέβασε το ρεκόρ στις ~90,3 μονάδες. Το μοντέλο DeBERTa ξεπέρασε τον προηγούμενο ηγέτη (Google T5) κατά περίπου 0,6% και απέδειξε την αποτελεσματικότητα νέων ιδεών στην αρχιτεκτονική Transformer (διαχωρισμένη αναπαράσταση περιεχομένου και θέσης λέξεων, βελτιωμένος αποκωδικοποιητής μάσκας κ.λπ.).

Η πρόοδος δεν σταμάτησε εκεί: καθώς αυξανόταν το μέγεθος και η πολυπλοκότητα των γλωσσικών μοντέλων, τα αποτελέσματα στο SuperGLUE συνέχιζαν να βελτιώνονται. Στα τέλη του 2021, στην κορυφή του leaderboard βρισκόταν το μοντέλο της Microsoft T-NLRv5 (οικογένεια Microsoft Turing NLR) — αυτό αύξησε ακόμα περισσότερο το χάσμα πάνω από το ανθρώπινο επίπεδο. Οι τελευταίες εργασίες του GLUE που παρέμεναν άλυτες για τις μηχανές (π.χ. λεπτές αποχρώσεις NLI) «κλείστηκαν» από αυτό το μοντέλο, το οποίο πλησίασε ασφυκτικά τον πλήρη ισοτιμισμό με τον άνθρωπο ακόμη και στις πιο δύσκολες υποεργασίες.

Κατά το 2022-2023, το κατώφλι του ανθρώπινου επιπέδου στο SuperGLUE υπερπηδήθηκε με αυτοπεποίθηση από πολλά ανεξάρτητα μεγάλα μοντέλα. Για παράδειγμα, το μοντέλο PaLM της Google (540 δισεκατομμύρια παράμετροι) μετά από fine-tuning στις εργασίες SuperGLUE έφτασε περίπου στις 90,4 μονάδες, ενώ το μοντέλο GPT-4 (ανεπτυγμένο από την OpenAI) έδειξε αποτέλεσμα ελαφρώς υψηλότερο. Στα μέσα του 2023, στον πίνακα ηγετών του SuperGLUE υπήρχαν αρκετά μοντέλα με αποτέλεσμα άνω των 90 (δηλαδή, υπερβαίνοντας το μέσο ανθρώπινο επίπεδο). Μπορεί να ειπωθεί ότι ο benchmark είναι πρακτικά λυμένος από τα σύγχρονα συστήματα: οι επιδόσεις των καλύτερων μοντέλων είναι τόσο υψηλές που ξεπερνούν τις δυνατότητες της πλειονότητας των μη ειδικευμένων ανθρώπων. Αυτή η επιτυχία μαρτυρεί την τεράστια πρόοδο στο NLP σε σύντομο χρονικό διάστημα, αλλά ταυτόχρονα υποδεικνύει την ανάγκη για νέα, ακόμα πιο σύνθετα τεστ για τα νεότερα μοντέλα. Ήδη εμφανίζονται νεότεροι benchmark (π.χ. MMLU, BIG-Bench κ.ά.), που στοχεύουν να ελέγξουν τα μοντέλα ως προς ευρύτερη κατανόηση και γνώσεις που ξεπερνούν τα πλαίσια των εργασιών του SuperGLUE.

Επιρροή και περαιτέρω έρευνα

Το SuperGLUE, έτσι, έχει καθιερωθεί ως σημαντικό στάδιο ανάπτυξης αξιολογητικών μεθοδολογιών στην επεξεργασία γλώσσας. Στους ενθουσιώδεις και επιστημονικούς κύκλους, τα αποτελέσματά του έχουν γίνει ένα είδος «λιθόγραφου δείκτη» για νέες αρχιτεκτονικές LLM: η επίτευξη ή υπέρβαση του ανθρώπινου επιπέδου στο SuperGLUE θεωρείται χαρακτηριστικό ενός προηγμένου μοντέλου με βαθιά γλωσσική κατανόηση. Αυτό αποτυπώθηκε και στην πράξη — πολλά σύγχρονα γλωσσικά μοντέλα που επέτυχαν υψηλά αποτελέσματα στο SuperGLUE αποτέλεσαν τη βάση για εφαρμοσμένα συστήματα ερωταποκρίσεων, διαλογικούς πράκτορες, συστήματα περίληψης κειμένου κ.ά.. Το SuperGLUE συνεχίζει να χρησιμοποιείται από ερευνητές για fine-tuning και σύγκριση αλγορίθμων, αν και η πρωτοπορία μετατοπίζεται πλέον σταδιακά σε νέα σύνορα αξιολόγησης τεχνητής νοημοσύνης.

Αναφορές

• Επίσημος ιστότοπος SuperGLUE
• Αρχικό άρθρο SuperGLUE (NeurIPS)
• Άρθρο Microsoft για την επίτευξη ανθρώπινου επιπέδου από το DeBERTa
• Σελίδα dataset SuperGLUE στο Papers With Code

Βιβλιογραφία

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Παραπομπές

</references>