LaMDA (Google) — 对话应用语言模型
LaMDA (Language Model for Dialogue Applications) 是由 Google 开发的、基于 Transformer 架构的大型语言模型系列，专门用于进行有意义的、开放式的对话[1]。与当时许多通用模型不同，LaMDA 经过专门训练，能够就几乎任何话题进行连贯、多轮的对话，并能自由地切换上下文[2]。
该模型于2021年5月的 Google I/O 大会上首次公开亮相[3]。LaMDA 被定位为实现人与技术之间更自然交互的基础性一步，例如通过搜索和语音助手中的对话界面[4]。
架构与训练
基本架构：“仅解码器”
LaMDA 是一种基于 Transformer 架构构建的“仅解码器”（decoder-only）语言模型。该架构是文本生成任务的标准。模型以自回归方式工作——根据所有先前的词来预测序列中的下一个词（token）。这使其能够生成连贯且逻辑性强的文本，以继续给定的对话，但与 BERT 不同，这限制了其看到“右侧”上下文的能力[5]。
规模与训练数据
LaMDA 系列包括参数量从 20 亿到 1370 亿不等的多个模型。预训练（pre-training）使用了一个包含 1.56 万亿个单词 的庞大数据集，该数据集由公开的对话数据和网络文本组成。这一数据量几乎是 LaMDA 的前身 Meena 模型训练数据量的 40 倍[1]。
微调 (Fine-Tuning) 过程与指标
Google 的研究人员得出结论，仅靠扩大模型规模不足以确保安全性和事实准确性。因此，他们开发了一个多阶段的微调过程，在该过程中，模型根据由人类标注员评估的三个关键指标进行专门调整[1]：
- 质量 (Quality)：通过三个部分进行评估：
- 合理性 (Sensibleness)': 逻辑性和与上下文的匹配度。
- 具体性 (Specificity)': 回答的具体性和信息量。
- 趣味性 (Interestingness)': 富有洞察力和巧妙性。
- 安全性 (Safety)：防止生成有害、有偏见或有毒的言论。为此，他们微调了一个专门的分类器-过滤器。
- 根据性 (Groundedness)：旨在对抗“幻觉”（捏造的事实）。LaMDA 被微调为在必要时可以调用一套外部工具（如搜索引擎、计算器、翻译器）来核实和 уточнение 事实信息[1]。这项创新成为解决大型语言模型可靠性问题的首批系统性方案之一。
开发与部署历史
公开发布与 LaMDA 2
在 2021 年 Google I/O 大会上，首席执行官桑达尔·皮查伊 (Sundar Pichai) 展示了 LaMDA 的能力，演示了模型分别扮演冥王星和纸飞机进行对话的场景[6]。
一年后，在 2022 年 Google I/O 大会上，LaMDA 2 正式亮相，它成为了一个“更加出色的对话伙伴”。同时，Google 推出了 AI Test Kitchen 应用，这是一个用于公开测试的“实验室”，用户可以在其中体验 LaMDA 的几个演示场景[7]。这使得 Google 能够收集大量反馈，以进一步改进模型。
集成至 Google Bard
2023年2月，在 ChatGPT 人气迅速飙升的背景下，Google 宣布推出自家的实验性聊天机器人 Bard[8]。最初，Bard 运行在 LaMDA 的一个轻量级版本上，以降低对计算资源的要求。LaMDA 成为一项关键的“过渡”技术，使 Google 能够迅速推出具有竞争力的产品，同时为部署更强大的模型（如 PaLM）做准备。
布莱克·莱莫因事件
2022年6月，LaMDA 成为一场广泛社会讨论的焦点。此前，Google AI 伦理部门的工程师布莱克·莱莫因（Blake Lemoine）公开宣称，他认为该模型已达到有知觉（sentient）的水平。他公布了自己与 LaMDA 的对话片段，在这些对话中，模型谈论了自我意识、情感，并表达了对被关闭的恐惧[9]。
官方立场与科学界反应
Google 坚决否认了莱莫因的说法，声明经过审查后，未发现任何模型具有知觉的证据，反而有“大量证据表明其不具备知觉”[9]。2022年7月，莱莫因因违反公司保密政策而被解雇[10]。
绝大多数 AI 科学家和专家也驳斥了 LaMDA 具有知觉的观点。语言学家艾米丽·M·本德（Emily M. Bender）等研究人员强调，这类模型是“随机鹦鹉”——它们是复杂的算法，通过统计学方法生成连贯的文本来模仿人类语言，但并不具备真正的理解力或意识[11]。这一事件生动地表明，人类是多么容易产生拟人化的倾向，将人类的特质赋予机器，并激发了关于 AI 本质的全球性讨论。
贡献与遗产
尽管作为一项旗舰技术的生命周期相对较短，LaMDA 仍在对话式 AI 的发展史上留下了重要印记。
- 技术贡献：LaMDA 展示了构建开放式、上下文相关的对话系统的可能性，并开创了确保安全性（基于价值观的过滤）和事实根据性（调用外部工具）的系统性方法。
- 在 Google 生态系统中的作用：LaMDA 成为一项至关重要的过渡技术，它使 Google 能够凭借 Bard 产品紧急加入“聊天机器人大战”，并为后来更强大的模型（如 PaLM 和 Gemini）所采用的方法提供了试验场。
- 社会影响：布莱克·莱莫因事件将关于 AI 本质、意识以及拟人化风险的讨论提升到了一个新的全球高度。
链接
参考文献
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
注释
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]