LaMDA (Google) — 対話アプリケーション用言語モデル
LaMDA (Language Model for Dialogue Applications) は、Googleによって開発された、トランスフォーマーアーキテクチャに基づく大規模言語モデルのファミリーであり、意味のあるオープンな対話を行うことに特化しています[1]。当時の多くの汎用モデルとは異なり、LaMDAは、ほぼあらゆるトピックについて、文脈を自由に切り替えながら、一貫性のある複数ターンにわたる会話を維持するために意図的にトレーニングされました[2]。
このモデルは、2021年5月のGoogle I/Oカンファレンスで初めて公に発表されました[3]。LaMDAは、検索や音声アシスタントにおける会話型インターフェースなどを通じて、人間とテクノロジーとのより自然な対話に向けた基本的な一歩として位置づけられました[4]。
アーキテクチャとトレーニング
基本アーキテクチャ：「デコーダーのみ」
LaMDAは、トランスフォーマーアーキテクチャ上に構築された「デコーダーのみ」（decoder-only）タイプの言語モデルです。このアーキテクチャは、テキスト生成タスクの標準となっています。モデルは自己回帰的に動作し、それ以前のすべての単語（トークン）に基づいてシーケンス内の次の単語を予測します。これにより、与えられた会話を続けて、一貫性のある論理的なテキストを生成できますが、BERTとは異なり、「右側」の文脈を見る能力は制限されます[5]。
スケールとトレーニングデータ
LaMDAファミリーには、パラメータ数が20億から1370億までのさまざまなモデルが含まれています。事前学習（pre-training）には、公開されている対話データとウェブテキストからなる1兆5600億語という膨大なデータコーパスが使用されました。このデータ量は、LaMDAの前身であるMeenaモデルのトレーニングに使用されたデータの約40倍でした[1]。
ファインチューニングのプロセスと指標
Googleの研究者たちは、スケールを拡大するだけでは、安全性と回答の事実としての正確性を確保するには不十分であると結論付けました。そのため、人間のアノテーターによって評価される3つの主要な指標に基づいてモデルを意図的に調整する、多段階のファインチューニングプロセスが開発されました[1]。
- 品質 (Quality): 以下の3つの要素で評価されます：
- 意味の妥当性 (Sensibleness)': 論理的で文脈に即しているか。
- 具体性 (Specificity)': 回答が具体的で情報量が多いか。
- 興味深さ (Interestingness)': 洞察に富み、ウィットに富んでいるか。
- 安全性 (Safety): 有害、偏見のある、または悪意のある発言の生成を防止します。このために、特別な分類器フィルターが追加でトレーニングされました。
- 根拠性 (Groundedness): 「ハルシネーション」（捏造された事実）への対策を目的としています。LaMDAは、必要に応じて外部ツール（検索エンジン、計算機、翻訳機）のセットを参照し、事実情報を検証・補足するようにファインチューニングされました[1]。このイノベーションは、大規模言語モデルにおける信頼性の問題に対する初の体系的な解決策の一つとなりました。
開発と導入の歴史
公開発表とLaMDA 2
Google I/O 2021で、CEOのサンダー・ピチャイはLaMDAの能力を披露し、モデルが冥王星や紙飛行機の立場から対話するデモンストレーションを行いました[6]。
1年後のGoogle I/O 2022では、LaMDA 2が発表され、「さらに洗練された対話パートナー」と紹介されました。同時にGoogleは、ユーザーがいくつかのデモシナリオでLaMDAを試すことができる公開テスト用の「ラボ」であるAI Test Kitchenアプリを立ち上げました[7]。これにより、モデルをさらに改善するための大規模なフィードバックを収集することが可能になりました。
Google Bardへの統合
2023年2月、ChatGPTの人気が急上昇する中、Googleは独自の実験的チャットボットBardの立ち上げを発表しました[8]。当初、Bardは計算リソースの要件を低減するため、LaMDAの軽量版で動作していました。LaMDAは、PaLMのようなより強力なモデルの導入準備が進められる間、Googleが競争力のある製品を迅速に市場投入することを可能にした、重要な「過渡的」技術として機能しました。
ブレイク・ルモワン事件
2022年6月、GoogleのAI倫理部門のエンジニアであるブレイク・ルモワンが、モデルが意識（sentient）を持つレベルに達したと公に主張したことで、LaMDAは広範な社会的議論の中心となりました。彼はLaMDAとの対話の断片を公開し、その中でモデルが自己認識や感情について語り、停止されることへの恐怖を表現していました[9]。
公式見解と科学界の反応
Googleはルモワンの主張を断固として否定し、検証の結果、モデルが意識を持つという証拠は見つからず、「それに反する多くの証拠」があると述べました[9]。2022年7月、ルモワンは企業の機密保持ポリシーに違反したとして解雇されました[10]。
AIに関する科学者や専門家の大多数も、LaMDAが意識を持つという考えを否定しました。言語学者のエミリー・M・ベンダーをはじめとする研究者たちは、このようなモデルは「確率的オウム」であり、真の理解や意識なしに、人間の発話を模倣して統計的に一貫性のあるテキストを生成する複雑なアルゴリズムであると強調しました[11]。この事件は、人間がいかに容易に擬人化（アンソロポモルフィズム）に傾倒し、機械に人間的な性質を帰属させるかを示し、AIの性質に関する世界的な議論を促進しました。
貢献と遺産
フラッグシップ技術としてのライフサイクルは比較的短かったものの、LaMDAは対話型AIの発展の歴史に大きな足跡を残しました。
- 技術的貢献: LaMDAは、オープンで文脈に依存した対話システムの構築可能性を示し、安全性（価値観に基づくフィルタリング）と事実に基づく根拠性（外部ツールの参照）を確保するための体系的なアプローチの先駆者となりました。
- Googleエコシステムにおける役割: LaMDAは、GoogleがBardという製品で緊急に「チャットボット戦争」に参入することを可能にした、極めて重要な過渡的技術となり、PaLMやGeminiといったより強力なモデルの基礎となる手法の実験場として機能しました。
- 社会的影響: ブレイク・ルモワン事件は、AIの性質、意識、そして擬人化のリスクに関する議論を、新たな世界的なレベルに引き上げました。
外部リンク
参考文献
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
脚注
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]