Embedding (NLP) — エンベディング

エンベディング（英語: embedding、「埋め込み」の意）は、機械学習と自然言語処理の分野における基本的な技術であり、単語、文、画像などの離散的または複雑なオブジェクトを、固定次元の数値的なベクトル表現に変換します。これらのベクトル、すなわちエンベディングは、意味的に類似したオブジェクトが互いに近接するように多次元空間に配置されます。

定義と概念

形式的には、エンベディングは写像関数 $f:X\to {\mathbb{ℝ}}^d$ であり、ここで $X$ は元のオブジェクトの空間（例：単語の辞書）、${\mathbb{ℝ}}^d$ は次元 $d$ の多次元ベクトル空間（エンベディング空間）です。次元 $d$ は元の空間の次元よりも大幅に小さく、これによりこれらの表現は密（dense）になります。

単語のベクトル表現の理論的基盤は分布意味論であり、これは単語の意味がその使用される文脈によって決定されると主張します。つまり、類似した文脈で出現する単語は類似した意味を持ち、したがって、ベクトル表現も近くなります。

エンベディングの基本原則

• 固定次元: すべてのオブジェクトは、元のデータのサイズ（例：文の長さ）に関係なく、同じ長さのベクトルに写像されます。
• 意味的近接性: ベクトル間の距離（多くはコサイン類似度で測定）は、元のオブジェクトの意味的な近接性を反映します。
• 数学的演算のサポート: ベクトルは意味的な関係を保持するため、代数的な演算が可能です。古典的な例：$\text{vector}(\text{「王」})-\text{vector}(\text{「男性」})+\text{vector}(\text{「女性」})\approx \text{vector}(\text{「女王」})$。

歴史と発展

初期のアプローチ（1980年代～2000年代）

ベクトル表現の最初のアイデアは、1980年代にニューラルネットワークの研究の一環として登場しました。初期の手法は、単語の共起の統計分析に基づいていました。

Word2Vec の時代（2013年）

2013年にトマーシュ・ミコロフが率いるGoogleのチームによって開発されたWord2Vecが画期的な出来事となりました。Word2Vecは、単語のエンベディングを学習するための2つの効率的で計算コストの低いアーキテクチャを提案しました。

• CBOW (Continuous Bag of Words): 周囲の文脈に基づいて中央の単語を予測します。
• Skip-gram: 中央の単語から文脈の単語を予測します。

Word2Vecは、オープンソースであることと高速な処理性能により、ベクトル表現の最初の普及した実装となりました。

代替アプローチの発展

Word2Vecの後、他にも重要な静的エンベディングモデルが登場しました。

• GloVe (2014): スタンフォード大学で開発されたモデルで、単語の共起に関するグローバルな統計情報を使用してベクトルを学習します。
• FastText (2015): Facebookが開発したモデルで、各単語をそのn-gram文字のベクトルの合計として表現することで、単語の形態論を考慮します。これにより、学習辞書にない単語（Out-of-Vocabulary words）に対してもエンベディングを生成できます。

トランスフォーマーと文脈付きエンベディングの時代（2018年～現在）

トランスフォーマーアーキテクチャとBERTモデル（2018年）の登場により、大きなブレークスルーがもたらされました。これにより文脈付きエンベディングが生まれ、単語のベクトル表現がその使用される文脈に依存するようになりました。静的表現では「鍵」という単語が「ドアの鍵」と「ト音記号の鍵」という文で同じベクトルを持つのに対し、文脈付きモデルはそれぞれの場合に対して異なるエンベディングを生成します。

エンベディングの種類

表現レベルによる分類

• 単語エンベディング: 各単語が個別のベクトルで表現される基本的なタイプ（Word2Vec, GloVe）。
• 文・文書エンベディング: フレーズ、文、または文書全体を単一のベクトルで表現します（PV-DM, PV-DBOW）。
• ユーザー・アイテムエンベディング: 推薦システムで使用され、ユーザーの興味や商品の特性を表現します。

文脈依存性による分類

• 静的エンベディング: 各単語に文脈に関係なく一つの固定ベクトルが割り当てられます（Word2Vec, GloVe, FastText）。
• 文脈付きエンベディング: 同じ単語でもその周囲の文脈に応じて異なる表現を生成します。主な代表例：
  • BERT: トランスフォーマーに基づく双方向モデル。
  • ELMo: 双方向LSTMモデル。
  • RoBERTa, DistilBERT, ALBERT: BERTの改良版。

モダリティによる分類

• テキストエンベディング: 最も一般的なタイプで、単語、文、文書の表現を含みます。
• ビジュアルエンベディング: コンピュータビジョンのタスクのための画像の表現。
• マルチモーダルエンベディング: テキスト、画像、音声など、さまざまなタイプのデータを単一のベクトル空間に統合します。例として、6つのモダリティからのデータを結びつけることができるImageBindがあります。

アーキテクチャと学習方法

古典的な手法

• One-hotエンコーディング: 各単語を辞書のサイズに等しいベクトルでエンコードし、対応する位置に1を立てる最も単純な方法。欠点：高いスパース性と意味情報の欠如。
• 行列分解: 単語の共起行列に適用される次元削減手法（例：LSA）。

ニューラルネットワークアーキテクチャ

• 浅いニューラルネットワーク: Word2VecのCBOWおよびSkip-gramアーキテクチャは、効率的な学習のために2層のニューラルネットワークを使用します。
• トランスフォーマー: アテンション（attention）機構により、この分野に革命をもたらしたアーキテクチャ。

現代的なアプローチ

• マスク化言語モデリング: BERTは、マスクされた単語を予測するタスクを利用して文脈付き表現を学習します。
• 対照学習: 意味的に近い（正の）ペアの類似性を最大化し、遠い（負の）ペアの類似性を最小化する手法。

エンベディングの応用

エンベディングは、さまざまな分野で広く応用されています。

自然言語処理

• 検索および情報検索: セマンティック検索の品質を向上させ、キーワードではなく意味に基づいて文書を見つけることを可能にします。
• テキスト分類: ベクトル表現は分類器の入力データとして機能し、その精度を高めます。
• 感情分析: 文脈を考慮してテキストの感情的な色合いを判断します。
• 機械翻訳: ソース言語とターゲット言語のセマンティクスの理解を向上させます。

推薦システム

ユーザーと商品のエンベディングは、以下を含むパーソナライズされた推薦システムの基盤となっています。

• 協調フィルタリング: ユーザーの行動のエンベディングに基づく。
• コンテンツベースフィルタリング: 商品の特性のエンベディングを使用する。

コンピュータビジョン

• 画像の分類と検索: 畳み込みニューラルネットワークやVision Transformersは、画像の分類や視覚的に類似した画像の検索のために画像エンベディングを生成します。

バイオインフォマティクスと医療

• 医療データ分析: 臨床記録の分析や疾患の診断。
• 分子表現: 化合物の特性を予測するためのエンベディングの作成。

技術的側面と最適化

• 次元最適化手法: Matryoshka Representation Learning (MRL) は、1つのモデルから異なる次元のエンベディングを取得できる革新的なアプローチで、重要な情報をベクトルの先頭に集中させます。
• エンベディングの量子化: 計算を高速化し、メモリを節約するために、数値表現の精度を（例えば8ビットや4ビットに）低下させます。
• データベースとの統合: 現代のベクトルデータベース（例：Milvus, Pinecone）や従来のDBMS用の拡張機能（例：PostgreSQL用のpgvector）により、エンベディングを効率的に保存・検索できます。

外部リンク

• 単語の埋め込み - Wikipedia
• 単語のベクトル表現 — NEERC

参考文献

• Mikolov, T. et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781.
• Mikolov, T. et al. (2013). Distributed Representations of Words and Phrases and their Compositionality. arXiv:1310.4546.
• Pennington, J.; Socher, R.; Manning, C. (2014). GloVe: Global Vectors for Word Representation. PDF.
• Bojanowski, P. et al. (2017). Enriching Word Vectors with Subword Information. arXiv:1607.04606.
• Joulin, A. et al. (2017). Bag of Tricks for Efficient Text Classification. arXiv:1607.01759.
• Peters, M. E. et al. (2018). Deep Contextualized Word Representations. ACL Anthology.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Reimers, N.; Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv:1908.10084.
• Kusupati, A. et al. (2022). Matryoshka Representation Learning. arXiv:2205.13147.
• Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. PMLR 139.
• Girdhar, R. et al. (2023). ImageBind: One Embedding Space To Bind Them All. CVPR 2023.