Encoder

Энкодер (англ. Encoder, кодировщик) — в машинном обучении и глубоком обучении это компонент нейронной сети, основной задачей которого является преобразование входной последовательности данных (например, текста или изображения) в богатое числовое представление, обычно называемое скрытым состоянием, контекстным вектором или эмбеддингом. Это представление захватывает ключевые характеристики и семантику входных данных в форме, удобной для дальнейшей обработки.

В более широком смысле, в теории информации, энкодер — это любое устройство или алгоритм, который преобразует информацию из одного формата в другой, часто с целью сжатия или передачи.

Концепция и назначение

Основная цель энкодера в нейронных сетях — извлечь из входных данных полезные признаки и "закодировать" их в плотный вектор фиксированной длины. Этот процесс можно рассматривать как форму нелинейного снижения размерности, где высокоразмерные и разреженные входные данные (например, текст, представленный one-hot векторами) преобразуются в низкоразмерное, но информационно насыщенное векторное пространство (латентное пространство).

Этот закодированный вектор затем может быть использован:

• Декодером для генерации новой последовательности (например, в машинном переводе).
• Классификатором для решения задач анализа (например, определение тональности текста).
• Для задач, требующих понимания всего входного контекста.

Энкодер в различных архитектурах

Энкодер в автоэнкодере

Одним из классических примеров является архитектура автоэнкодера. Он состоит из двух частей:

1. Энкодер: Сжимает входные данные в скрытое представление меньшей размерности (латентный код).
2. Декодер: Пытается восстановить исходные данные из этого сжатого представления.

Обучая такую сеть минимизировать ошибку восстановления, энкодер учится извлекать наиболее важные признаки из данных.

Энкодер в рекуррентных нейронных сетях (RNN/LSTM)

До появления архитектуры Трансформер, энкодеры в задачах обработки последовательностей (seq2seq) строились на основе рекуррентных нейронных сетей (RNN) или их усовершенствованного варианта LSTM.

• Принцип работы: RNN-энкодер обрабатывает входную последовательность токен за токеном. На каждом шаге он обновляет своё скрытое состояние, инкорпорируя информацию о текущем токене и предыдущем состоянии. Конечное скрытое состояние, полученное после обработки всей последовательности, рассматривается как вектор, кодирующий смысл всей входной последовательности. Этот вектор часто называют контекстным вектором или «вектором мысли» (thought vector).

Энкодер в архитектуре Трансформер

Революция в обработке естественного языка связана с появлением энкодера на основе архитектуры Трансформер. В отличие от RNN, он обрабатывает все токены последовательности параллельно.

Энкодер Трансформера состоит из стека ($N$) идентичных слоёв. Каждый слой имеет два основных подслоя:

1. Многоголовое самовнимание (Multi-Head Self-Attention): Этот механизм позволяет каждому токену во входной последовательности «обращать внимание» на все остальные токены и взвешивать их важность для формирования собственного контекстуального представления. Это позволяет модели улавливать сложные зависимости между словами, независимо от их положения.
2. Полносвязная нейронная сеть (Feed-Forward Network): Применяется к представлению каждого токена отдельно для дальнейшего нелинейного преобразования.

Ключевое отличие энкодера Трансформера от RNN-энкодера заключается в том, что он на выходе даёт не один контекстный вектор, а последовательность контекстуализированных векторов — по одному для каждого входного токена. Каждый такой вектор содержит информацию о своём токене в контексте всей последовательности.

Типы моделей на основе энкодера

Модели энкодер-декодер

Это классическая архитектура для задач преобразования последовательности в последовательность (seq2seq), таких как машинный перевод или суммаризация.

• Принцип работы: Энкодер обрабатывает всю входную последовательность (например, предложение на исходном языке). Его выходные представления затем передаются декодеру, который, используя их, авторегрессионно генерирует выходную последовательность (предложение на целевом языке). Декодер «смотрит» на выход энкодера с помощью специального механизма перекрёстного внимания (cross-attention).
• Примеры: Оригинальный Трансформер, T5, BART.

Модели только-энкодер (Encoder-Only)

Эти модели используют исключительно стек энкодеров Трансформера.

• Принцип работы: Они предназначены для задач, требующих глубокого понимания контекста всего входного текста. Благодаря двунаправленной природе механизма самовнимания, они создают богатые контекстуальные представления для каждого токена.
• Применение: Идеальны для задач анализа и понимания языка (NLU), таких как:
  • Классификация текста (например, анализ тональности).
  • Распознавание именованных сущностей (NER).
  • Ответы на вопросы (Question Answering), где ответ является фрагментом из текста.
• Пример: BERT и его производные (RoBERTa, ALBERT).

Связь с декодером

В архитектуре энкодер-декодер энкодер и декодер выполняют комплементарные роли:

• Энкодер отвечает за понимание входной последовательности.
• Декодер отвечает за генерацию выходной последовательности.

Ключевым связующим звеном между ними является механизм перекрёстного внимания (cross-attention) внутри декодера. На каждом шаге генерации декодер формирует запрос (Query) на основе уже сгенерированной части выходной последовательности и использует его, чтобы «обратить внимание» на выходные представления энкодера (которые служат ключами и значениями — Key и Value). Это позволяет декодеру сфокусироваться на наиболее релевантных частях входной последовательности для генерации следующего токена.

Литература

• Hinton, G. E.; Salakhutdinov, R. R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science. DOI:10.1126/science.1127647.
• Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. arXiv:1406.1078.
• Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. arXiv:1409.3215.
• Bahdanau, D.; Cho, K.; Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473.
• Kingma, D. P.; Welling, M. (2014). Auto-Encoding Variational Bayes. arXiv:1312.6114.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Dai, Z. et al. (2019). Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context. arXiv:1901.02860.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Dosovitskiy, A. et al. (2020). An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929.

См. также

• BERT