Stochastic parrot — 確率的オウム
確率的オウム（Stochastic parrot）とは、人工知能の分野で用いられるメタファーであり、大規模言語モデル（LLM）を、言語形式を統計的に尤もらしく組み合わせることができるが、その意味を真に理解しているわけではないシステムとして描写するものである[1]。
この用語は、2021年3月にFAccTカンファレンスで発表された学術論文『確率的オウムの危険性について：言語モデルは大きすぎることがあるか？』（On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?）の中で、エミリー・M・ベンダー、ティムニット・ゲブル、アンジェリーナ・マクミラン＝メジャー、マーガレット・ミッチェルによって提唱された[2]。
定義と概念
論文の著者らによると、確率的オウムとは「広範な訓練データで観測された言語形式の系列を、それらがどのように組み合わさるかについての確率的情報に従って無秩序に結合させるが、意味との関連は一切ないシステム」である[2]。
この用語は2つの部分から構成されている：
- 確率的（Stochastic） — 古代ギリシャ語のστοχαστικός（「推測に基づく」）に由来し、現代数学では確率分布によって決定されるプロセスを指す[1]。
- オウム（Parrot） — 人間の言葉をその意味を理解せずに模倣するオウムの能力への言及である[1]。
この概念は、系列内の次の単語を予測するように訓練されたLLMが、本質的にはその意味にアクセスすることなく記号を操作する、洗練されたオートコンプリートシステムであると主張する。
論文『On the Dangers of Stochastic Parrots』の主な論点
本論文では、過度に大規模な言語モデルの開発に関連する4つの主要なリスクカテゴリが指摘されている。
1. 把握不可能な訓練データ
LLMは、インターネットから収集された巨大で注釈のないデータセット（Common Crawlなど）で訓練される。このようなデータセットには、偏見、有害な言葉、覇権的な視点が必然的に含まれており、脆弱なグループに害を及ぼす。例えば、インターネットのコンテンツは、先進国の白人男性を不釣り合いに多く表している（米国のRedditユーザーの67%は男性である）[2]。
2. 言語の真の理解の欠如
著者らは、LLMが言語の真の理解を欠いていると主張する。彼らは、言語とは形式（単語）が意味と不可分に結びついた記号の体系であるという理論に言及している。LLMの訓練データには形式しか含まれておらず、モデルは意味にアクセスできない。そのため、LLMは意味のある発話を模倣しているに過ぎない。
3. 合成テキストと潜在的な危害
LLMは文法的に正しく説得力のあるテキストを生成するため、人々はそれに意味を見出し、信頼する傾向がある。これは、偽情報、ヘイトスピーチ、詐欺の拡散リスクを生み出す。模倣が巧妙になるほど、人々がAIの能力を過大評価し、重要な決定を委ねてしまうリスクが高まる。
科学的影響と出版をめぐる論争
この論文は、当時共著者であるティムニット・ゲブルとマーガレット・ミッチェルが勤務していたGoogle社内での一大スキャンダルの中心となった。2020年末の内部査読の際、Googleの経営陣は著者に対し、論文を撤回するか、Google社員の名前を削除するよう要求した[3]。
AI倫理の第一人者であるティムニット・ゲブルがこの要求を拒否したため、2020年12月に彼女はGoogleを解雇された。2021年2月には、ゲブルを支持したマーガレット・ミッチェルも解雇された[4]。これらの出来事は社会に大きな波紋を広げた。2200人以上のGoogle社員と数千人の学術関係者が抗議書に署名し、同社が商業的利益に影響を与えうる研究を検閲し、抑圧していると非難した[5]。最終的に、論文は2021年3月にFAccTカンファレンスで発表された。
反応、議論、見解の進化
「確率的オウム」というメタファーは急速に広まり、人工知能の性質に関する議論の中心的な論点となった。アメリカ方言学会（ADS）は、2023年のAI分野の「今年の言葉」として「stochastic parrot」を選出し、「ChatGPT」や「LLM」さえも上回った[1]。
概念への批判と理解の証拠
この概念は、多くの第一線の研究者によって異議が唱えられている。
- ジェフリー・ヒントン：ディープラーニングの「ゴッドファーザー」の一人であり、「次の単語を正確に予測するためには、文を理解する必要がある」と主張した[1]。2023年にGoogleを退社した後、彼は大規模モデルがすでに教えられたことを「理解」しており、独自の結論を導き出すことができると述べた[6]。
- 創発的能力：研究によれば、特定の規模に達すると、LLMは算術問題の解決など、明示的にプログラムされていない新しい能力が飛躍的に現れることが示されている[7]。
- 世界の内部モデル：2022年の研究では、オセロの棋譜のテキストデータで訓練されたモデルが、自発的にゲーム盤の内部表現を形成したことが示された。これは、記述されている世界の抽象的なモデルを発達させたことを示唆している[3]。
- ベンチマークにおける性能：GPT-4のような現代のモデルは、複雑な専門試験において人間レベル（またはそれ以上）の成績を示しており、一部の専門家はこれを理解なしには不可能だと考えている[8]。
皮肉な使用と社会的話題
この用語は非常に有名になり、OpenAIのCEOであるサム・アルトマンでさえも皮肉を込めて使用した。彼はTwitterに「私は確率的オウムであり、あなたもそうだ」（i am a stochastic parrot, and so r u）と投稿した。これにより、人間の発話もまた多くの場合、次の単語の確率的予測であり、AIへの批判をもじったものであることを示唆した[1]。
科学的言説への影響
「確率的オウム」というメタファーは、LLMの能力と限界に関する議論において中心的な位置を占め続けている。このメタファーは、言語モデルが真の理解を欠いているという問題を明確化し、その開発に伴うリスクへの注意を喚起するのに役立った。同時に、LLM分野の急速な進歩は、このメタファーの絶え間ない再評価を強いている。最新のモデルは、「無意味なオウム」というイメージに収まらない、ますます複雑な振る舞いを示しているからだ。この用語は、AIシステムの能力とその社会的影響を批判的に分析することの重要性を強調し、科学的言説に影響を与え続けている[8]。
参考文献
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
脚注
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [1]
- ↑ 2.0 2.1 2.2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [2]
- ↑ 3.0 3.1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [3]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [4]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [5]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [6]
- ↑ «Stochastic parrot». Wikipedia. [7]
- ↑ 8.0 8.1 «The debate over understanding in AI's large language models». PMC. [8]