Stochastic parrot — 随机鹦鹉

随机鹦鹉（英语：Stochastic parrot）是人工智能领域使用的一个比喻，用于描述大型语言模型 (LLM)作为一种系统，虽然能够以统计上看似合理的方式组合语言形式，但却缺乏对其意义的真正理解。

该术语于2021年3月在一篇题为《关于随机鹦鹉的危险：语言模型是否会过大？》（On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?）的科学论文中被提出，该论文发表于FAccT会议。论文作者为艾米丽·M·本德（Emily M. Bender）、蒂姆尼特·格布鲁（Timnit Gebru）、安吉丽娜·麦克米兰-梅杰（Angelina McMillan-Major）和玛格丽特·米切尔（Margaret Mitchell）。

定义与概念

根据该论文的作者，随机鹦鹉是“一个用于混乱地拼接其庞大训练数据中观察到的语言形式序列的系统，拼接依据是关于它们如何组合的概率信息，但与意义没有任何联系”。

该术语由两部分组成：

• 随机（Stochastic） — 源自古希腊语 στοχαστικός（意为“基于猜测的”），在现代数学中指由随机概率分布决定的过程。
• 鹦鹉（Parrot） — 指的是鹦鹉能够模仿人类言语但并不理解其含义的能力。

该概念认为，被训练来预测序列中下一个词的LLM，本质上是复杂的自动补全系统，它们在无法接触到符号意义的情况下操纵符号。

《On the Dangers of Stochastic Parrots》一文的主要论点

该研究指出了与开发超大型语言模型相关的四大类风险。

1. 不可知的训练数据

LLM在从互联网（如Common Crawl）收集的、未经标注的庞大数据集上进行训练。这些数据集不可避免地包含偏见、有害言论和霸权观点，对弱势群体造成伤害。例如，互联网内容中不成比例地代表了来自发达国家的白人男性（美国Reddit用户中有67%是男性）。

2. 缺乏对语言的真正理解

作者们认为，LLM不具备对语言的真正理解。他们引用了一种理论，即语言是一个符号系统，其中形式（词语）与意义（含义）密不可分。LLM的训练数据只包含形式，这使得模型无法接触到意义。因此，LLM仅仅是在模仿有意义的言语。

3. 合成文本与潜在危害

由于LLM能生成语法正确且有说服力的文本，人们倾向于赋予其意义并信任它。这带来了传播虚假信息、仇恨言论和欺诈的风险。模仿得越完美，人们高估AI能力并将其用于关键决策的风险就越大。

学术影响与发表争议

该论文成为谷歌内部一场重大争议的中心，当时论文的合著者蒂姆尼特·格布鲁和玛格丽特·米切尔均在谷歌工作。2020年底，在内部审查期间，谷歌管理层要求作者撤回论文，或从中删除谷歌员工的名字。

AI伦理领域的顶尖研究员蒂姆尼特·格布鲁拒绝了这一要求，导致她于2020年12月被谷歌解雇。2021年2月，支持格布鲁的玛格丽特·米切尔也被解雇。这些事件引发了广泛的社会反响。超过2200名谷歌员工和数千名学术界人士签署了一封抗议信，指责该公司进行学术审查，并压制可能影响其商业利益的研究。最终，该论文于2021年3月在FAccT会议上发表。

反响、辩论与观点演变

“随机鹦鹉”这一比喻迅速传播开来，成为关于人工智能本质辩论的焦点。美国方言学会（ADS）将“stochastic parrot”评选为2023年度AI领域词汇，其热度甚至超过了“ChatGPT”和“LLM”。

对概念的批判与理解的证据

这一概念遭到了许多顶尖研究人员的质疑。

• 杰弗里·辛顿（Geoffrey Hinton），深度学习的“教父”之一，认为“要准确预测下一个词，就需要理解整个句子”。2023年离开谷歌后，他表示大型模型已经能够“理解”它们所学的内容，并能做出独立的推论。
• 涌现能力（Emergent abilities）: 研究表明，当达到一定规模时，LLM会展现出新能力的跃升，例如解决算术问题，而这些能力并未被明确编程到模型中。
• 内部世界模型: 2022年的一项研究表明，一个基于棋谱文本训练的奥赛罗（Othello）游戏模型，自发地形成了对棋盘的内部表征，这表明它发展出了对所描述世界的一种抽象模型。
• 基准测试表现: 现代模型（如GPT-4）在复杂专业考试中的表现达到了甚至超过了人类水平，一些人认为，没有理解能力是不可能做到这一点的。

讽刺性使用与公共讨论

该术语变得非常流行，甚至OpenAI的CEO 萨姆·阿尔特曼（Sam Altman）也在Twitter上讽刺性地使用了它，他写道：“我是一个随机鹦鹉，你也是”（i am a stochastic parrot, and so r u）。他以此暗示，人类的言语在很大程度上也是对下一个词的概率性预测，从而巧妙地回应了对AI的批评。

对科学讨论的影响

“随机鹦鹉”这一比喻在关于LLM能力与局限的辩论中仍然处于核心地位。它帮助阐明了语言模型缺乏真正理解的问题，并引起了人们对其开发相关风险的关注。与此同时，LLM领域的飞速发展迫使人们不断重新审视这个比喻，因为最新的模型展现出越来越复杂的行为，已不符合“无意义的鹦鹉”这一形象。该术语持续影响着科学讨论，强调了对AI系统能力及其社会后果进行批判性分析的重要性。

参考文献

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.