Генерация синтетических данных

Генерация синтетических данных с помощью LLM — это технология искусственного создания данных, которые по своим статистическим и структурным характеристикам имитируют реальные данные, но не содержат фактической персональной информации. Этот подход, использующий возможности больших языковых моделей (LLM), стал ключевым инструментом в современном машинном обучении для решения проблем дефицита данных, конфиденциальности и высокой стоимости ручной разметки.

Определение и предпосылки

Что такое синтетические данные?

Синтетические данные — это искусственно сгенерированная информация, которая воспроизводит статистические свойства и закономерности исходного, реального набора данных. Национальный институт стандартов и технологий США (NIST) определяет их как данные, сохраняющие статистические свойства оригинала, но не раскрывающие индивидуальные детали. В отличие от простого обезличивания (анонимизации), синтез данных создаёт полностью новые записи, что обеспечивает более высокий уровень защиты приватности.

Почему возникла потребность?

Рост интереса к синтетической генерации обусловлен рядом факторов:

• Дефицит данных: Во многих областях, особенно в узкоспециализированных, качественных размеченных данных недостаточно для обучения robust-моделей.
• Высокая стоимость разметки: Ручная разметка данных — трудоёмкий и дорогостоящий процесс.
• Требования конфиденциальности: Правовые и этические нормы (например, GDPR) ограничивают использование реальных данных, содержащих личную, медицинскую или финансовую информацию.
• Дисбаланс классов: В реальных данных некоторые важные, но редкие события (edge cases) могут быть представлены недостаточно, что мешает модели их изучить.

LLM, обученные на огромных корпусах текста и кода, стали мощным инструментом для решения этих проблем, так как они способны генерировать связный и разнообразный контент, имитирующий стили и распределения реальных данных.

Основные методы генерации с помощью LLM

Существует несколько ключевых подходов к созданию синтетических данных с использованием LLM.

1. Генерация по подсказкам (Prompt-based)

Это прямой метод, при котором LLM генерирует данные на основе текстового запроса (промпта).

• Zero-shot (с нуля): Модель генерирует примеры на основе только описания задачи, без предоставления образцов. Этот подход способствует разнообразию, но может приводить к менее релевантным результатам.
• Few-shot (с несколькими примерами): В промпт включается несколько примеров (образцов) желаемого вывода. Это направляет модель и повышает релевантность генерируемых данных, но несёт риск дублирования и потери разнообразия, так как модель склонна копировать шаблоны.

2. Генерация с дополнением внешней информацией (Retrieval-Augmented)

Этот метод призван повысить фактическую корректность синтетических данных и снизить риск галлюцинаций. Модель не полагается исключительно на свои внутренние знания, а использует предоставленный контекст из надёжного внешнего источника. Например, для генерации пары «вопрос-ответ» сначала извлекается релевантный абзац из Википедии, а затем LLM просят сформулировать вопрос и ответ, основанные строго на этом тексте.

3. Итеративное уточнение и самообучение (Self-Refinement)

Этот класс методов использует петлю обратной связи для улучшения качества данных. Наиболее известным примером является метод Self-Instruct.

1. Модель генерирует первоначальный набор данных.
2. Эти данные используются для дообучения самой модели (или её копии).
3. Анализируются ошибки и слабые места модели на сгенерированных данных.
4. Модель просят сгенерировать новые, более сложные примеры, похожие на те, на которых она ошиблась.

Именно по этой схеме был создан знаменитый набор данных Stanford Alpaca — 52 000 пар «инструкция-отклик», сгенерированных моделью GPT-3, которые позволили дообучить открытую модель LLaMA до уровня ассистента, следующего инструкциям.

4. Постобработка и фильтрация

После генерации данных всегда применяется фильтрация для отсечения некачественных примеров. Методы варьируются от простых (удаление дубликатов, проверка формата) до сложных, таких как:

• Использование модели-критика: Обучается отдельный классификатор, который отличает реальные данные от синтетических и отсеивает наименее реалистичные образцы.
• Фильтрация по уверенности: Оставляются только те примеры, для которых LLM с высокой уверенностью предсказывает правильный ответ/метку.
• Взвешивание данных: Подозрительным на ошибки или галлюцинации примерам присваивается меньший вес в функции потерь при обучении, чтобы снизить их негативное влияние (метод SunGen).

5. Обучение с обратной связью (Execution Feedback)

Этот метод особенно эффективен для генерации программного кода. В отличие от текста на естественном языке, код имеет формальный критерий правильности — его можно выполнить. Цикл выглядит так:

1. LLM генерирует код для решения задачи.
2. Код автоматически запускается и проверяется на соответствие тестам.
3. Корректные решения включаются в обучающий набор. Некорректные отбрасываются, или модель получает сигнал (reward) для исправления ошибки.

Применение синтетических данных

• Улучшение задач в условиях нехватки данных: Синтетические данные наиболее эффективны, когда реальных размеченных данных мало. Исследования показывают, что добавление 100 синтетических примеров к 100 реальным может повысить точность классификатора на 3–26%.
• Создание наборов инструкций (Instruction Tuning): Проекты, такие как Alpaca и Code Alpaca, продемонстрировали, что с помощью LLM можно создавать большие и качественные наборы данных для обучения моделей-ассистентов практически с нуля.
• Поиск информации и ответы на вопросы (QA): Метод InPars использует LLM для генерации поисковых запросов к существующим документам. Это позволяет автоматически создавать пары «вопрос — релевантный документ» для обучения поисковых систем.
• Защита конфиденциальности: В медицине и финансах синтетические данные используются для обучения моделей без доступа к реальным персональным данным. Например, Министерство по делам ветеранов США генерировало синтетические медицинские данные во время пандемии COVID-19 для обмена информацией.

Преимущества и риски

Преимущества

• Снижение затрат и ускорение разработки: Генерация данных моделью значительно дешевле и быстрее ручной разметки.
• Масштабируемость: Синтетические данные можно генерировать в практически неограниченных объёмах.
• Контролируемость: Разработчик может гибко настраивать состав, стиль и сложность генерируемых данных.
• Соблюдение конфиденциальности: Предоставляют обезличенную альтернативу для работы с чувствительными данными.
• Устойчивость моделей (Robustness): Обучение на разнообразных и даже "каверзных" синтетических примерах делает модели менее склонными к переобучению и более устойчивыми к нештатным входным данным.

Ограничения и риски

• Фактические неточности (галлюцинации): LLM могут генерировать неверные факты, которые, будучи включёнными в обучающий набор, закрепляются в новых моделях.
• Недостаточная реалистичность: Синтетические тексты могут быть слишком шаблонными, формальными или не отражать всё многообразие живого языка, что снижает обобщающую способность модели.
• Усиление системных смещений (Bias): LLM наследуют и могут усиливать социальные стереотипы и предубеждения, присутствующие в их обучающих данных.
• Риск "коллапса модели": Явление, при котором повторное обучение моделей на данных, сгенерированных предыдущими версиями моделей, приводит к постепенной деградации качества и "забыванию" редких явлений.
• Возможные утечки конфиденциальности: Без специальных мер (например, дифференциальной приватности) LLM могут случайно воспроизвести фрагменты реальных данных из своего обучающего набора, что несёт риск деанонимизации.

Перспективы и направления исследований

• Автоматизация подбора подсказок: Развитие методов, которые автоматически находят оптимальные промпты для генерации качественных данных.
• Мультимодальная синтетическая генерация: Расширение методологий на генерацию комбинированных данных (текст + изображение, аудио, видео).
• Развитие метрик качества: Создание стандартизированных бенчмарков для оценки полезности, разнообразия и реализма синтетических данных.
• Управление смещениями: Разработка методов для контроля и уменьшения предвзятости в генерируемых данных, например, через генерацию контрафактуальных примеров.
• Безопасное внедрение в индустрии: Разработка правовых и этических стандартов для использования синтетических данных в критических областях.

Ссылки

• Обзорная статья: Synthetic Data Generation Using Large Language Models (2025)
• Блог Google Research о генерации данных с дифференциальной приватностью

Литература

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.