Stochastic parrot — Στοχαστικός παπαγάλος

Στοχαστικός παπαγάλος (αγγλ. Stochastic parrot) — είναι μια μεταφορά που χρησιμοποιείται στον τομέα της τεχνητής νοημοσύνης για την περιγραφή μεγάλων γλωσσικών μοντέλων (LLM) ως συστημάτων που γνωρίζουν να συνδυάζουν στατιστικά εύλογα γλωσσικές μορφές, αλλά στερούνται αληθινής κατανόησης του νοήματός τους.

Ο όρος εισήχθη τον Μάρτιο του 2021 σε επιστημονικό άρθρο με τίτλο «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?», το οποίο δημοσιεύτηκε στο συνέδριο FAccT. Συγγραφείς ήταν οι Emily M. Bender, Timnit Gebru, Angelina McMillan-Major και Margaret Mitchell.

Ορισμός και έννοια

Σύμφωνα με τους συγγραφείς του άρθρου, ο στοχαστικός παπαγάλος αντιπροσωπεύει ένα «σύστημα για τυχαία σύνδεση ακολουθιών γλωσσικών μορφών που παρατηρούνται στα εκτεταμένα δεδομένα εκπαίδευσής του, σύμφωνα με πιθανολογικές πληροφορίες για τον τρόπο που συνδυάζονται, αλλά χωρίς καμία σχέση με το νόημα».

Ο όρος αποτελείται από δύο μέρη:

• Στοχαστικός — από το αρχαιοελληνικό στοχαστικός («βασισμένος σε εικασίες»), στα σύγχρονα μαθηματικά δηλώνει μια διαδικασία που καθορίζεται από τυχαία κατανομή πιθανοτήτων.
• Παπαγάλος — παραπομπή στην ικανότητα των παπαγάλων να μιμούνται την ανθρώπινη ομιλία χωρίς να κατανοούν το νόημά της.

Η έννοια υποστηρίζει ότι τα LLM, εκπαιδευμένα να προβλέπουν την επόμενη λέξη σε μια ακολουθία, αποτελούν ουσιαστικά σύνθετα συστήματα αυτόματης συμπλήρωσης που χειρίζονται σύμβολα χωρίς πρόσβαση στο νόημά τους.

Βασικά επιχειρήματα του άρθρου «On the Dangers of Stochastic Parrots»

Το έργο εντοπίζει τέσσερις βασικές κατηγορίες κινδύνων που σχετίζονται με την ανάπτυξη υπερβολικά μεγάλων γλωσσικών μοντέλων.

1. Αδιαφανή δεδομένα εκπαίδευσης

Τα LLM εκπαιδεύονται σε τεράστια, μη σχολιασμένα σύνολα δεδομένων που συλλέγονται από το διαδίκτυο (π.χ. Common Crawl). Τέτοια dataset αναπόφευκτα περιέχουν προκαταλήψεις, τοξική γλώσσα και ηγεμονικές οπτικές γωνίες που βλάπτουν ευάλωτες ομάδες. Για παράδειγμα, το διαδικτυακό περιεχόμενο αντιπροσωπεύει δυσανάλογα λευκούς άνδρες από ανεπτυγμένες χώρες (67% των χρηστών του Reddit στις ΗΠΑ είναι άνδρες).

2. Απουσία αληθινής κατανόησης της γλώσσας

Οι συγγραφείς υποστηρίζουν ότι τα LLM δεν διαθέτουν αληθινή κατανόηση της γλώσσας. Επικαλούνται τη θεωρία ότι η γλώσσα είναι ένα σύστημα σημείων, όπου η μορφή (λέξη) συνδέεται αδιαχώριστα με το νόημα (σημασία). Τα δεδομένα εκπαίδευσης των LLM περιέχουν μόνο τη μορφή, στερώντας από το μοντέλο την πρόσβαση στο νόημα. Επομένως, τα LLM απλώς μιμούνται ουσιαστική ομιλία.

3. Συνθετικό κείμενο και πιθανές βλάβες

Επειδή τα LLM παράγουν γραμματικά ορθό και πειστικό κείμενο, οι άνθρωποι τείνουν να του αποδίδουν νόημα και να το εμπιστεύονται. Αυτό δημιουργεί κίνδυνο διάδοσης παραπληροφόρησης, ρητορικής μίσους και απάτης. Όσο πιο τέλεια είναι η μίμηση, τόσο μεγαλύτερος είναι ο κίνδυνος να υπερεκτιμήσουν οι άνθρωποι τις δυνατότητες της ΤΝ και να της εμπιστευτούν κρίσιμες αποφάσεις.

Επιστημονική επιρροή και η διαμάχη γύρω από τη δημοσίευση

Το άρθρο έγινε επίκεντρο ενός μεγάλου σκανδάλου στη Google, όπου εκείνη την εποχή εργάζονταν οι συν-συγγραφείς Timnit Gebru και Margaret Mitchell. Στα τέλη του 2020, κατά τη διάρκεια της εσωτερικής αξιολόγησης, η διοίκηση της Google απαίτησε από τους συγγραφείς να αποσύρουν το άρθρο ή να αφαιρέσουν από αυτό τα ονόματα των εργαζομένων της Google.

Η Timnit Gebru, κορυφαία ερευνήτρια ηθικής ΤΝ, αρνήθηκε να συμμορφωθεί με αυτή την απαίτηση, γεγονός που οδήγησε στην απόλυσή της από τη Google τον Δεκέμβριο του 2020. Τον Φεβρουάριο του 2021 απολύθηκε και η Margaret Mitchell, που είχε ταχθεί υπέρ της Gebru. Αυτά τα γεγονότα προκάλεσαν ευρύ κοινωνικό αντίκτυπο. Περισσότεροι από 2.200 εργαζόμενοι της Google και χιλιάδες εκπρόσωποι της ακαδημαϊκής κοινότητας υπέγραψαν επιστολή διαμαρτυρίας, κατηγορώντας την εταιρεία για επιστημονική λογοκρισία και καταστολή ερευνών που ενδέχεται να αφορούν τα εμπορικά της συμφέροντα. Τελικά το άρθρο δημοσιεύτηκε τον Μάρτιο του 2021 στο συνέδριο FAccT.

Αντιδράσεις, συζητήσεις και εξέλιξη απόψεων

Η μεταφορά «στοχαστικός παπαγάλος» διαδόθηκε γρήγορα και έγινε κεντρικό σημείο στις συζητήσεις για τη φύση της τεχνητής νοημοσύνης. Η Αμερικανική Διαλεκτολογική Εταιρεία (ADS) επέλεξε το «stochastic parrot» ως λέξη της χρονιάς στον τομέα της ΤΝ για το 2023, ξεπερνώντας ακόμα και το «ChatGPT» και το «LLM».

Κριτική της έννοιας και αποδείξεις κατανόησης

Η έννοια αμφισβητήθηκε από πολλούς κορυφαίους ερευνητές.

• Geoffrey Hinton, ένας από τους «νονούς» του deep learning, υποστήριξε ότι «για να προβλέψεις με ακρίβεια την επόμενη λέξη πρέπει να κατανοείς την πρόταση». Το 2023, αφού αποχώρησε από τη Google, δήλωσε ότι τα μεγάλα μοντέλα ήδη «κατανοούν» αυτό που διδάσκονται και μπορούν να εξάγουν ανεξάρτητα συμπεράσματα.
• Αναδυόμενες ικανότητες (Emergent Abilities): Έρευνες έδειξαν ότι μόλις επιτευχθεί μια συγκεκριμένη κλίμακα, τα LLM επιδεικνύουν απότομη εμφάνιση νέων ικανοτήτων, όπως η επίλυση αριθμητικών προβλημάτων, που δεν τους είχαν αναπτυχθεί ρητά.
• Εσωτερικά μοντέλα κόσμου: Μια έρευνα του 2022 έδειξε ότι ένα μοντέλο εκπαιδευμένο να παίζει Othello με βάση κειμενικές καταγραφές κινήσεων, σχημάτισε αυθόρμητα μια εσωτερική αναπαράσταση του ταμπλό του παιχνιδιού, υποδεικνύοντας την ανάπτυξη ενός αφηρημένου μοντέλου του περιγραφόμενου κόσμου.
• Απόδοση σε benchmark: Σύγχρονα μοντέλα, όπως το GPT-4, επιτυγχάνουν αποτελέσματα σε επίπεδο ανθρώπου (ή ανώτερα) σε δύσκολες επαγγελματικές εξετάσεις, κάτι που κατά τη γνώμη ορισμένων είναι αδύνατο χωρίς κατανόηση.

Ειρωνική χρήση και δημόσιος λόγος

Ο όρος έγινε τόσο δημοφιλής που τον χρησιμοποίησε ειρωνικά ακόμη και ο επικεφαλής της OpenAI Sam Altman, γράφοντας στο Twitter: «i am a stochastic parrot, and so r u» («είμαι ένας στοχαστικός παπαγάλος, και εσύ επίσης»). Με αυτό υπαινίχτηκε ότι και η ανθρώπινη ομιλία είναι σε μεγάλο βαθμό πιθανολογική πρόβλεψη της επόμενης λέξης, παίζοντας με την κριτική κατά της ΤΝ.

Επιρροή στον επιστημονικό λόγο

Η μεταφορά «στοχαστικός παπαγάλος» παραμένει κεντρική στις συζητήσεις για τις δυνατότητες και τους περιορισμούς των LLM. Βοήθησε να διατυπωθεί το πρόβλημα της απουσίας αληθινής κατανόησης από τα γλωσσικά μοντέλα και έστρεψε την προσοχή στους κινδύνους που σχετίζονται με την ανάπτυξή τους. Ταυτόχρονα, η ταχεία πρόοδος στον τομέα των LLM αναγκάζει σε συνεχή επανεξέταση αυτής της μεταφοράς, καθώς τα νεότερα μοντέλα επιδεικνύουν ολοένα πιο σύνθετη συμπεριφορά που δεν χωράει στην εικόνα του «άνευ νοήματος παπαγάλου». Ο όρος συνεχίζει να επηρεάζει τον επιστημονικό λόγο, τονίζοντας τη σημασία της κριτικής ανάλυσης των δυνατοτήτων των συστημάτων ΤΝ και των κοινωνικών τους συνεπειών.

Βιβλιογραφία

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.