Encoder (Transformer) — エンコーダー

エンコーダー（Encoder）は、機械学習および深層学習において、ニューラルネットワークのコンポーネントであり、その主なタスクは、入力データシーケンス（例：テキストや画像）を、豊富な数値表現に変換することです。この表現は通常、隠れ状態、コンテキストベクトル、または埋め込みと呼ばれます。この表現は、入力データの主要な特徴とセマンティクスを捉え、後続の処理に適した形式に変換します。

より広い意味では、情報理論において、エンコーダーとは、情報をある形式から別の形式に変換する任意のデバイスやアルゴリズムを指し、多くの場合、圧縮や伝送を目的としています。

概念と目的

ニューラルネットワークにおけるエンコーダーの主な目的は、入力データから有用な特徴を抽出し、それを固定長の密なベクトルに「エンコード」することです。このプロセスは、非線形の次元削減の一形態と見なすことができ、高次元でスパースな入力データ（例：one-hotベクトルで表現されたテキスト）が、低次元でありながら情報が豊富なベクトル空間（潜在空間）に変換されます。

このエンコードされたベクトルは、次のように利用されます：

• デコーダーによる新しいシーケンスの生成（例：機械翻訳）。
• 分類器による分析タスクの解決（例：テキストの感情分析）。
• 入力コンテキスト全体の理解を必要とするタスク。

様々なアーキテクチャにおけるエンコーダー

オートエンコーダーにおけるエンコーダー

古典的な例の一つがオートエンコーダーのアーキテクチャです。これは2つの部分から構成されます：

1. エンコーダー: 入力データをより低次元の隠れ表現（潜在コード）に圧縮します。
2. デコーダー: この圧縮された表現から元のデータを復元しようとします。

このようなネットワークを再構築誤差を最小化するように学習させることで、エンコーダーはデータから最も重要な特徴を抽出することを学習します。

再帰型ニューラルネットワーク（RNN/LSTM）におけるエンコーダー

Transformerアーキテクチャが登場する以前は、系列処理タスク（seq2seq）におけるエンコーダーは、再帰型ニューラルネットワーク（RNN）またはその改良版であるLSTMを基に構築されていました。

• 動作原理: RNNエンコーダーは、入力シーケンスをトークンごとに処理します。各ステップで、現在のトークンと前の状態の情報を組み込みながら、自身の隠れ状態を更新します。シーケンス全体を処理した後の最終的な隠れ状態は、入力シーケンス全体の意味をエンコードするベクトルと見なされます。このベクトルは、しばしばコンテキストベクトルまたは「思考ベクトル」（thought vector）と呼ばれます。

Transformerアーキテクチャにおけるエンコーダー

自然言語処理における革命は、Transformerアーキテクチャに基づくエンコーダーの登場と関連しています。RNNとは異なり、Transformerはシーケンスのすべてのトークンを並列に処理します。

Transformerのエンコーダーは、同一の層を$N$個積み重ねたスタックで構成されています。各層には、主に2つのサブレイヤーがあります：

1. マルチヘッド・セルフアテンション（Multi-Head Self-Attention）: このメカニズムにより、入力シーケンス内の各トークンが他のすべてのトークンに「注意」を向け、自身の文脈的表現を形成するためにその重要度を重み付けすることができます。これにより、モデルは単語の位置に関係なく、単語間の複雑な依存関係を捉えることができます。
2. 全結合順伝播型ネットワーク（Feed-Forward Network）: 各トークンの表現に個別に適用され、さらなる非線形変換を行います。

TransformerエンコーダーとRNNエンコーダーの主な違いは、出力が単一のコンテキストベクトルではなく、文脈化されたベクトルのシーケンスである点です。これは各入力トークンに対して1つずつ生成されます。これらの各ベクトルは、シーケンス全体の文脈における自身のトークンに関する情報を含んでいます。

エンコーダーベースのモデルの種類

エンコーダー・デコーダーモデル

これは、機械翻訳や要約のような、系列から系列への変換タスク（seq2seq）のための古典的なアーキテクチャです。

• 動作原理: エンコーダーが入力シーケンス全体（例：原文の文）を処理します。その出力表現がデコーダーに渡され、デコーダーはそれを用いて自己回帰的に出力シーケンス（例：訳文の文）を生成します。デコーダーは、特殊なクロスアテンション（cross-attention）メカニズムを用いてエンコーダーの出力を「参照」します。
• 例: オリジナルのTransformer、T5、BART。

エンコーダーのみのモデル（Encoder-Only）

これらのモデルは、Transformerのエンコーダースタックのみを使用します。

• 動作原理: これらは、入力テキスト全体の文脈を深く理解する必要があるタスク向けに設計されています。セルフアテンションメカニズムの双方向性により、各トークンに対して豊富な文脈的表現を生成します。
• 応用: 以下のような言語理解（NLU）タスクに最適です：
  • テキスト分類（例：感情分析）。
  • 固有表現抽出（NER）。
  • 質問応答（Question Answering）。ただし、答えがテキスト内の一部である場合に限ります。
• 例: BERTおよびその派生モデル（RoBERTa、ALBERT）。

デコーダーとの関連

エンコーダー・デコーダーアーキテクチャにおいて、エンコーダーとデコーダーは相補的な役割を果たします：

• エンコーダーは入力シーケンスの理解を担当します。
• デコーダーは出力シーケンスの生成を担当します。

両者を結ぶ重要な要素は、デコーダー内部のクロスアテンション（cross-attention）メカニズムです。生成の各ステップで、デコーダーはすでに出力されたシーケンスの一部に基づいてクエリ（Query）を生成し、それを用いてエンコーダーの出力表現（キー（Key）とバリュー（Value）として機能する）に「注意」を向けます。これにより、デコーダーは次のトークンを生成するために、入力シーケンスの最も関連性の高い部分に焦点を当てることができます。

関連項目

• BERT

参考文献

• Hinton, G. E.; Salakhutdinov, R. R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science. DOI:10.1126/science.1127647.
• Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. arXiv:1406.1078.
• Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. arXiv:1409.3215.
• Bahdanau, D.; Cho, K.; Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473.
• Kingma, D. P.; Welling, M. (2014). Auto-Encoding Variational Bayes. arXiv:1312.6114.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Dai, Z. et al. (2019). Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context. arXiv:1901.02860.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Dosovitskiy, A. et al. (2020). An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929.