Теоретични основи на големите езикови модели

Теоретични основи на големите езикови модели (на базата на архитектурата transformer) — това е съвкупност от математически, статистически и информационно-теоретични принципи, които стоят в основата на функционирането, обучението и възможностите на съвременните големи езикови модели (LLM). Тези основи обясняват как моделите, изградени върху архитектурата Transformer, са способни да разбират и генерират човешки език с висока степен на кохерентност.

Архитектурни основи: архитектура Transformer

Съвременните LLM са почти изцяло базирани на архитектурата Transformer, представена през 2017 година в статията „Attention Is All You Need". Тази архитектура се отказа от рекурентните слоеве (като в RNN и LSTM), залагайки на механизма на вниманието (attention), което позволи ефективна обработка на дълги последователности и паралелизиране на изчисленията.

Механизъм на само-вниманието (Self-Attention)

Това е ядрото на архитектурата Transformer. Механизмът на само-вниманието позволява на модела да претегля важността на всяка дума (token) в последователността спрямо всички останали думи в същата последователност. За всеки token се създават три вектора:

• Query (Q, Заявка): вектор, представящ текущата дума.
• Key (K, Ключ): вектор, с който се сравняват заявките от другите думи.
• Value (V, Стойност): вектор, съдържащ информация за думата, която ще бъде предадена нататък.

Оценката на вниманието се изчислява като мащабирано скаларно произведение:

$extAttention(Q,K,V)=extsoftmax\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

където $d_k$ е размерността на векторите ключове. Този механизъм позволява на модела да улавя сложни контекстуални зависимости, независимо от разстоянието между думите.

Многоглавото внимание (Multi-Head Attention) — това е паралелното изпълнение на няколко такива изчисления с различни матрици на проекция, което позволява на модела едновременно да се фокусира върху различни аспекти на синтаксиса и семантиката.

Видове архитектури на базата на Transformer

Съществуват три основни варианта за използване на компонентите на Transformer:

1. Енкодер-декодер (Encoder-Decoder): Класическата архитектура за задачи за преобразуване на последователност в последователност (например машинен превод). Енкодерът обработва входната последователност, а декодерът генерира изходната. Примери: T5, BART.
2. Само енкодер (Encoder-Only): Модели, използващи само стек от енкодери. Те са отлично подходящи за задачи, изискващи дълбоко разбиране на контекста на цялата последователност (класификация на текст, разпознаване на именувани същности). Пример: BERT.
3. Само декодер (Decoder-Only): Модели, използващи само стек от декодери. Те работят авторегресивно, предсказвайки следващия token на базата на предишните. Това е стандартът за генеративни модели. Примери: GPT, LLaMA, Claude.

Позиционно кодиране

Тъй като механизмът на само-вниманието не отчита реда на думите, към архитектурата се добавя позиционно кодиране. Към embedding-ите на токените се прибавят вектори, кодиращи тяхната позиция в последователността. В оригиналния модел се използваха синусоидални функции:

$extPE(extpos,2i)=\sin (extpos/10000^{2i/d_{extmodel}})$

$extPE(extpos,2i+1)=\cos (extpos/10000^{2i/d_{extmodel}})$

В съвременните модели се използват също обучаеми и ротационни (Rotary Position Embeddings, RoPE) позиционни кодировки.

Принципи на обучението: от вероятност към оптимизация

Езиково моделиране като вероятностна задача

В основата на LLM стои задачата за езиково моделиране — предсказване на вероятността на последователност от текст. Формално, за последователност $X=(x_1,x_2,\dots ,x_T)$ моделът оценява вероятността $P(X)$. С помощта на верижното правило на вероятностите това се разлага в произведение на условни вероятности:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

По този начин обучението на модела се свежда до предсказване на следващия token $x_t$ на базата на контекста от предишните токени.

Функция на загубата и теория на информацията

За оценка на качеството на предсказванията и обучението на модела се използва кросс-ентропийна функция на загубата. Тя измерва разминаването между вероятностното разпределение, предсказано от модела ($q$), и истинското разпределение ($p$), при което правилният следващ token има вероятност 1, а останалите — 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

Минимизирането на кросс-ентропията е еквивалентно на максимизирането на правдоподобието на обучаващите данни.

Свързана метрика за качество е перплексията, която се определя като експонента от кросс-ентропията: $extPerplexity=2^{H(p,q)}$. Интуитивно, перплексията показва средния брой варианти, от които моделът „избира" на всяка стъпка. Колкото по-ниска е перплексията, толкова по-уверен и точен е моделът.

Оптимизация

Обучението на LLM е процес на минимизиране на функцията на загубата чрез коригиране на милиарди параметри на модела. За тази цел се използват методи, базирани на градиентно спускане. Най-разпространен е оптимизаторът Adam (Adaptive Moment Estimation) и неговите варианти (например AdamW), които адаптивно подбират скоростта на обучение за всеки параметър.

Парадигми на обучението

1. Предварително обучение (Pre-training): Моделът се обучава върху огромни неанотирани текстови корпуси (Common Crawl, The Pile, C4) с използване на самонаблюдавани задачи, като:
   • Каузално езиково моделиране (CLM): Предсказване на следващия token (използва се в GPT).
   • Маскирано езиково моделиране (MLM): Възстановяване на случайно маскирани токени в текста (използва се в BERT).
2. Дообучение (Fine-tuning): След предварителното обучение моделът се адаптира към конкретни задачи върху малки анотирани набори от данни.
3. Изравняване (Alignment): Специален етап на дообучение, насочен към съгласуване на поведението на модела с човешките предпочитания и ценности. Ключовият метод е RLHF (Reinforcement Learning from Human Feedback), при който моделът се дообучава с използване на сигнал за награда от модел, предсказващ човешките предпочитания.

Закони за мащабиране и емерджентни способности

Емпиричните изследвания показаха, че производителността на LLM се подобрява предвидимо с увеличаването на три фактора: размера на модела (брой параметри, $N$), размера на обучаващия набор от данни ($D$) и обема на изчисленията ($C$). Тази зависимост се описва от степенни закони (scaling laws).

Законът, предложен в работата на OpenAI (Kaplan et al., 2020), показва, че функцията на загубата $L$ намалява като степенна функция от $N$, $D$ и $C$. По-късната работа на DeepMind (Hoffmann et al., 2022) прецизира тези закони (закони Chinchilla), показвайки, че за оптимално обучение е необходимо балансирано увеличаване както на размера на модела, така и на обема от данни.

Важно следствие от мащабирането е появата на емерджентни способности — качествени скокове в производителността, когато моделът започва да решава задачи, за които не е бил явно обучен (например аритметика, логически разсъждения, писане на код). Тези способности, като правило, отсъстват при модели с по-малък размер и се проявяват само след достигане на определен праг на мащаба.

Генериране на текст: стратегии за декодиране

След обучението моделът генерира текст, итеративно предсказвайки следващия token. Изборът на следващия token от вероятностното разпределение, предоставено от модела, се осъществява с помощта на различни стратегии за декодиране:

• Алчно търсене (Greedy Search): Винаги се избира най-вероятният token. Бързо, но често води до повтарящ се и скучен текст.
• Лъчево търсене (Beam Search): На всяка стъпка се запазват $k$ най-вероятни последователности, което позволява намирането на по-оптимални глобални решения.
• Семплиране с температура: Вероятностите на токените се коригират с параметъра температура ($T$). При $T>1$ разпределението става по-равномерно (повече креативност), при $T<1$ — по-пикообразно (по-малко случайност).
• Top-k семплиране: На всяка стъпка изборът се ограничава до $k$ най-вероятни токени.
• Top-p (Nucleus) семплиране: Изборът се ограничава до минималния набор от токени, чиято обща вероятност надвишава прага $p$. Това позволява динамично адаптиране на размера на пула от кандидати.

Теоретични проблеми и ограничения

• Халюцинации: Склонността на моделите да генерират фактически невярна, но правдоподобно звучаща информация. Това е свързано с факта, че моделите оптимизират вероятността на текста, а не неговата истинност.
• Предубеденост (Bias): LLM наследяват и усилват социални, културни и други предубедености, присъстващи в обучаващите данни.
• Интерпретируемост („черна кутия"): Поради огромния брой параметри е изключително трудно да се разбере как точно моделът взема решения, което затруднява отстраняването на грешки и създава рискове.
• Изчислителна сложност: Механизмът на само-вниманието има квадратична сложност спрямо дължината на последователността ($O(n^2)$), което ограничава максималната дължина на обработвания контекст.

Вижте също

• Големи езикови модели
• BERT
• GPT

Литература

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.