Stochastic parrot — طوطی تصادفی
طوطی تصادفی (انگلیسی: Stochastic parrot) — استعارهای است که در حوزه هوش مصنوعی برای توصیف مدلهای زبانی بزرگ (LLM) به کار میرود؛ سیستمهایی که میتوانند فرمهای زبانی را به شکلی آماری باورپذیر ترکیب کنند، اما فاقد درک واقعی از معنای آنها هستند[1].
این اصطلاح در مارس ۲۰۲۱ در مقاله علمی «درباره خطرات طوطیهای تصادفی: آیا مدلهای زبانی میتوانند بیش از حد بزرگ باشند؟» (On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?) معرفی شد که در کنفرانس FAccT منتشر گردید. نویسندگان این مقاله عبارتند از: Emily M. Bender، Timnit Gebru، Angelina McMillan-Major و Margaret Mitchell[2].
تعریف و مفهوم
بر اساس گفته نویسندگان مقاله، طوطی تصادفی «سیستمی است برای پیوند تصادفی دنبالههایی از فرمهای زبانی مشاهدهشده در دادههای آموزشی گستردهاش، بر اساس اطلاعات احتمالی درباره نحوه ترکیب آنها، اما بدون هیچ ارتباطی با معنا»[2].
این اصطلاح از دو بخش تشکیل شده است:
- تصادفی (Stochastic) — از یونانی باستان στοχαστικός («مبتنی بر حدس»)، که در ریاضیات مدرن به فرآیندی اشاره دارد که با توزیع احتمال تصادفی تعریف میشود[1].
- طوطی (Parrot) — اشارهای است به توانایی طوطیها در تقلید از گفتار انسان بدون درک معنای آن[1].
این مفهوم بیان میکند که LLMهایی که برای پیشبینی کلمه بعدی در یک دنباله آموزش دیدهاند، در اصل سیستمهای پیچیده تکمیل خودکار هستند که نمادها را بدون دسترسی به معنایشان دستکاری میکنند.
استدلالهای اصلی مقاله «On the Dangers of Stochastic Parrots»
در این پژوهش چهار دسته اصلی از خطرات مرتبط با توسعه مدلهای زبانی بیش از حد بزرگ شناسایی شده است.
۱. دادههای آموزشی ناشناختنی
LLMها بر روی مجموعه دادههای بسیار بزرگ و برچسبنخوردهای که از اینترنت گردآوری شدهاند (مانند Common Crawl) آموزش میبینند. چنین datasetهایی بهناگزیر حاوی تعصبات، زبان سمی و دیدگاههای هژمونیک هستند که به گروههای آسیبپذیر آسیب میرسانند. برای نمونه، محتوای اینترنتی بهصورت نامتناسبی مردان سفیدپوست از کشورهای توسعهیافته را نمایندگی میکند (۶۷٪ از کاربران Reddit در ایالات متحده مرد هستند)[2].
۲. فقدان درک واقعی از زبان
نویسندگان استدلال میکنند که LLMها فاقد درک واقعی از زبان هستند. آنها به نظریهای استناد میکنند که بر اساس آن زبان سیستمی از نشانههاست که در آن فرم (کلمه) پیوندی ناگسستنی با معنا دارد. دادههای آموزشی LLMها تنها حاوی فرم هستند و مدل را از دسترسی به معنا محروم میکنند. از این رو، LLMها صرفاً گفتار معنادار را تقلید میکنند.
۳. متن مصنوعی و آسیبهای بالقوه
از آنجا که LLMها متنی دستوری درست و قانعکننده تولید میکنند، انسانها تمایل دارند به آن معنا نسبت دهند و به آن اعتماد کنند. این امر خطر انتشار اطلاعات غلط، زبان نفرتانگیز و کلاهبرداری را ایجاد میکند. هرچه تقلید کاملتر باشد، احتمال بیشتری وجود دارد که مردم تواناییهای هوش مصنوعی را بیش از حد ارزیابی کنند و تصمیمهای حیاتی را به آن واگذار کنند.
تأثیر علمی و جنجال پیرامون انتشار مقاله
این مقاله کانون یک رسوایی بزرگ در Google شد، جایی که نویسندگان مشترک Timnit Gebru و Margaret Mitchell در آن زمان مشغول به کار بودند. در اواخر سال ۲۰۲۰، در جریان بررسی داخلی، مدیریت Google از نویسندگان خواست که مقاله را پس بگیرند یا نام کارمندان Google را از آن حذف کنند[3].
Timnit Gebru، پژوهشگر ارشد اخلاق هوش مصنوعی، از اجرای این خواسته سر باز زد که منجر به اخراج او از Google در دسامبر ۲۰۲۰ شد. در فوریه ۲۰۲۱ نیز Margaret Mitchell که از Gebru حمایت کرده بود، اخراج شد[4]. این رویدادها بازتاب اجتماعی گستردهای داشتند. بیش از ۲۲۰۰ کارمند Google و هزاران نفر از جامعه دانشگاهی نامه اعتراضی امضا کردند و شرکت را به سانسور علمی و سرکوب پژوهشهایی که ممکن است به منافع تجاری آن لطمه بزند متهم کردند[5]. در نهایت، مقاله در مارس ۲۰۲۱ در کنفرانس FAccT منتشر شد.
واکنشها، مجادلات و تحول دیدگاهها
استعاره «طوطی تصادفی» به سرعت گسترش یافت و به نقطه محوری مجادلات درباره ماهیت هوش مصنوعی تبدیل شد. انجمن دیالکتولوژی آمریکا (ADS) واژه «stochastic parrot» را به عنوان واژه سال ۲۰۲۳ در حوزه هوش مصنوعی برگزید که حتی از «ChatGPT» و «LLM» نیز پیشی گرفت[1].
نقد مفهوم و شواهد درک
این مفهوم توسط بسیاری از پژوهشگران پیشرو به چالش کشیده شده است.
- Geoffrey Hinton، یکی از «پدران» یادگیری عمیق، استدلال کرد که «برای پیشبینی دقیق کلمه بعدی، باید جمله را درک کرد»[1]. در سال ۲۰۲۳، پس از ترک Google، اعلام کرد که مدلهای بزرگ در حال حاضر آنچه را که به آنها آموخته میشود «درک» میکنند و میتوانند نتیجهگیریهای مستقل داشته باشند[6].
- تواناییهای پدیدار (Emergent Abilities): پژوهشها نشان دادهاند که با رسیدن LLMها به مقیاس معینی، تواناییهای جدیدی بهصورت جهشی ظاهر میشوند، مانند حل مسائل حسابی، که بهطور صریح در آنها برنامهریزی نشده بود[7].
- مدلهای درونی از جهان: پژوهشی در سال ۲۰۲۲ نشان داد که مدلی که بر اساس متن ثبت حرکات بازی Othello آموزش دیده بود، بهطور خودجوش یک بازنمایی درونی از صفحه بازی شکل داد، که نشاندهنده توسعه یک مدل انتزاعی از جهان توصیفشده است[3].
- عملکرد در benchmarkها: مدلهای مدرن مانند GPT-4 در آزمونهای حرفهای پیچیده نتایجی در سطح انسان (یا بالاتر) نشان میدهند، که به عقیده برخی بدون درک واقعی امکانپذیر نیست[8].
استفاده طنزآمیز و گفتمان عمومی
این اصطلاح آنقدر محبوب شد که حتی مدیرعامل OpenAI، Sam Altman، آن را بهطور طنزآمیز به کار برد و در Twitter نوشت: «من یک طوطی تصادفی هستم، شما هم هستید» (i am a stochastic parrot, and so r u). او با این کار اشاره کرد که گفتار انسانی نیز تا حد زیادی پیشبینی احتمالی کلمه بعدی است و انتقاد از هوش مصنوعی را به چالش کشید[1].
تأثیر بر گفتمان علمی
استعاره «طوطی تصادفی» همچنان در مرکز مجادلات درباره تواناییها و محدودیتهای LLMها قرار دارد. این استعاره به صورتبندی مسئله فقدان درک واقعی در مدلهای زبانی کمک کرد و توجه را به خطرات مرتبط با توسعه آنها جلب نمود. در عین حال، پیشرفت سریع در حوزه LLMها موجب میشود که این استعاره پیوسته بازاندیشی شود، زیرا جدیدترین مدلها رفتارهای پیچیدهتری از خود نشان میدهند که در قالب تصویر «طوطی بیمعنا» نمیگنجد. این اصطلاح همچنان بر گفتمان علمی تأثیر میگذارد و بر اهمیت تحلیل انتقادی از تواناییهای سیستمهای هوش مصنوعی و پیامدهای اجتماعی آنها تأکید میکند[8].
منابع
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
یادداشتها
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [۱]
- ↑ 2.0 2.1 2.2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [۲]
- ↑ 3.0 3.1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [۳]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [۴]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [۵]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [۶]
- ↑ «Stochastic parrot». Wikipedia. [۷]
- ↑ 8.0 8.1 «The debate over understanding in AI's large language models». PMC. [۸]