Обучение на големи езикови модели

Обучението на големи езикови модели (LLM) е сложен и ресурсоемък процес, при който невронна мрежа с милиарди параметри се обучава върху огромни масиви от текстови данни за разбиране и генериране на човешки език. Този процес е крайъгълен камък в създаването на съвременни LLM като GPT, BERT, Claude и Gemini.

Теоретични основи на обучението

Архитектура Transformer и механизъм на внимание

Съвременните LLM се основават почти изцяло на архитектурата Transformer, която позволява ефективна обработка на дълги текстови последователности. Ключовият компонент е механизмът за самовнимание (self-attention), който дава на модела възможност да претегля важността на всяка дума в контекста на цялата последователност. Това позволява улавянето на далечни зависимости и паралелна обработка на данните, което значително ускорява обучението в сравнение с рекурентните мрежи (RNN).

Основна задача: предсказване на следващия token

Фундаменталната задача, върху която се обучават повечето LLM (особено генеративните, като GPT), е езиковото моделиране. Моделът се учи да предсказва следващия token (дума или част от дума) в последователността въз основа на всички предишни token-и. Формално, моделът максимизира вероятността на последователността $P(X)$ чрез нейното разлагане по верижното правило:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

За обучението се използва кръстосано-ентропийна функция на загубите, която измерва разминаването между предсказаното от модела разпределение на вероятностите и истинския следващ token.

Етапи на обучението

Процесът на обучение на LLM обикновено се състои от два основни етапа.

1. Предварително обучение (Pre-training)

Това е най-мащабният и изчислително скъп етап, при който моделът придобива фундаменталните си знания за езика и света.

• Данни: Моделът се обучава върху огромни корпуси от неразпознат текст, чийто обем може да достига трилиони token-и. Източниците на данни включват уеб страници (например Common Crawl), Уикипедия, цифрови библиотеки с книги (Google Books) и хранилища с код (GitHub).
• Цел: Формиране на универсални езикови представи. Моделът се учи на граматика, синтаксис, факти и дори на някои елементи на логическо разсъждение.
• Процес: Това е самоконтролирано обучение (self-supervised learning), при което етикетите (правилните следващи token-и) се извличат от самите данни. Обучението може да продължи седмици или месеци върху клъстери от хиляди GPU или TPU.

2. Дообучение (Fine-tuning) и изравняване (Alignment)

След предварителното обучение „суровият" модел трябва да бъде адаптиран за конкретни задачи и съгласуван с човешките очаквания.

• Дообучение с учител (Supervised Fine-tuning): Моделът се дообучава върху малък, но качествен набор от анотирани данни (например двойки „инструкция-отговор"), за да се научи да следва указания.
• Обучение с подкрепление на базата на обратна връзка от хора (RLHF): Това е ключовият метод за изравняване. Процесът включва няколко стъпки:

1. 1. Хора-анотатори класират няколко отговора на модела към един и същ запрос от най-добрия към най-лошия.
   2. Върху тези данни се обучава модел на възнаграждение (reward model), който се учи да предсказва кой отговор ще предпочете човекът.
   3. Основният LLM се дообучава с помощта на алгоритми за подкрепление (например PPO), използвайки модела на възнаграждение като източник на сигнал, за да генерира по-полезни, честни и безопасни отговори.

Този двуетапен подход (pre-training + fine-tuning/alignment) се е превърнал в стандарт в индустрията, позволявайки създаването на мощни и същевременно управляеми езикови модели.

Практически аспекти

Данни: събиране, мащаб и подготовка

Качеството и мащабът на данните са определящи фактори за успеха на LLM.

• Събиране: Използват се разнообразни източници, за да се осигури широко покритие на теми, стилове и езици.
• Почистване и филтриране: Критично важен етап, включващ премахване на дублирания, филтриране на нискокачествено или токсично съдържание и балансиране на източниците, за да не се преобучи моделът върху специфичен интернет език.
• Токенизация: Текстът се разбива на token-и (думи или поддуми) с помощта на алгоритми като BPE или SentencePiece. Изборът на токенизатор и размерът на речника пряко влияят върху ефективността и качеството на модела.

Разпределено обучение и изчислителни ресурси

Обучението на модели със стотици милиарди или трилиони параметри изисква колосални изчислителни ресурси и използването на техники за разпределено обучение.

• Хардуер: Използват се суперкомпютри, съставени от хиляди GPU (например NVIDIA A100/H100) или TPU (Google), свързани с високоскоростни мрежи (например InfiniBand).
• Паралелизъм: За разпределяне на изчисленията се използват сложни схеми на паралелизъм:
  • Data Parallelism: Всяко копие на модела на своя GPU обработва своята част от данните.
  • Model Parallelism: Самият модел се разбива на части, които се разполагат на различни GPU. Включва тензорен (разбиване на матрици) и конвейерен (разбиване на слоеве) паралелизъм.
  • ZeRO (Zero Redundancy Optimizer): Технология, разработена от Microsoft DeepSpeed, която премахва дублирането на параметри, градиенти и състояния на оптимизатора, позволявайки обучението на значително по-големи модели.

• Frameworks: За реализацията на тези сложни схеми се използват специализирани frameworks като DeepSpeed, Megatron-LM и Hugging Face Accelerate.

Историческа еволюция на подходите

• 1980–1990-те: Статистически езикови модели, основани на n-грами.
• 2001–2010-те: Поява на невронни езикови модели на базата на RNN и LSTM, които по-добре улавяха дългосрочни зависимости.
• 2017: Публикуване на статията „Attention Is All You Need" и появата на архитектурата Transformer, която направи възможно паралелното обучение.
• 2018–2019: Появата на първите предобучени transformer-и — GPT-1 и BERT, които затвърдиха парадигмата „pre-training + fine-tuning".
• 2020: Излизането на GPT-3 бележи пробив в мащаба и появата на емерджентни few-shot способности.
• 2022: Стартирането на ChatGPT и популяризирането на RLHF като ключов метод за създаване на полезни и безопасни AI асистенти.
• 2023–до момента: Ерата на мултимодалните модели (GPT-4, Gemini), надпреварата за увеличаване на контекстния прозорец и развитието на агентни възможности.

Литература

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. NIPS.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155.

Връзки

• Въведение в LLM — курс от Hugging Face