Synthetic data generation — 合成データ生成

LLMによる合成データ生成は、統計的・構造的特徴において実データを模倣しつつ、実際の個人情報を含まないデータを人工的に生成する技術です。大規模言語モデル (LLM)の能力を活用するこのアプローチは、データ不足、プライバシー問題、手作業によるラベリングの高コストといった課題を解決するため、現代の機械学習における重要なツールとなっています。

定義と背景

合成データとは？

合成データ（Synthetic Data）とは、元の実データセットの統計的特性やパターンを再現した、人工的に生成された情報です。米国国立標準技術研究所（NIST）は、合成データを「元のデータの統計的特性を維持しつつ、個々の詳細を明らかにしないデータ」と定義しています。単純な匿名化とは異なり、データ合成では全く新しいレコードが作成されるため、より高いレベルのプライバシー保護が実現されます。

なぜ必要になったのか？

合成データ生成への関心が高まっている背景には、いくつかの要因があります：

• データ不足: 多くの分野、特に専門性の高い分野では、堅牢なモデルを学習させるための質の高いラベル付きデータが不足しています。
• ラベリングの高コスト: 手作業によるデータラベリングは、時間と費用のかかるプロセスです。
• プライバシー要件: GDPRなどの法的・倫理的規制により、個人情報、医療情報、財務情報を含む実データの使用が制限されています。
• クラスの不均衡: 実データでは、重要でありながら稀なイベント（edge cases）の表現が不十分な場合があり、モデルがそれらを学習する妨げになります。

膨大なテキストとコードのコーパスで学習したLLMは、実データのスタイルや分布を模倣した、一貫性のある多様なコンテンツを生成できるため、これらの問題を解決する強力なツールとなっています。

LLMによる主な生成手法

LLMを使用して合成データを生成するには、いくつかの主要なアプローチがあります。

1. Prompt-based - プロンプトベースの生成

これは、LLMがテキストの指示（プロンプト）に基づいてデータを生成する直接的な手法です。

• Zero-shot（ゼロショット）: モデルは、サンプルを提供されることなく、タスクの説明のみに基づいて例を生成します。このアプローチは多様性を促進しますが、関連性の低い結果につながる可能性があります。
• Few-shot（フューショット）: プロンプトに、望ましい出力の例（サンプル）をいくつか含めます。これによりモデルが誘導され、生成されるデータの関連性が向上しますが、モデルがテンプレートをコピーする傾向があるため、重複や多様性の喪失のリスクが伴います。

2. Retrieval-Augmented - 検索拡張生成

この手法は、合成データの事実的正確性を高め、ハルシネーションのリスクを低減することを目的としています。モデルは内部知識だけに頼るのではなく、信頼できる外部ソースから提供されたコンテキストを利用します。例えば、「質問と回答」のペアを生成するために、まずWikipediaから関連する段落を抽出し、次にLLMにそのテキストに厳密に基づいた質問と回答を作成するよう依頼します。

3. Self-Refinement - 自己改善と反復的改良

このクラスの手法は、フィードバックループを利用してデータ品質を向上させます。最も有名な例はSelf-Instructメソッドです。

1. モデルが初期データセットを生成します。
2. このデータを用いてモデル自体（またはそのコピー）をファインチューニングします。
3. 生成されたデータに対するモデルの誤りや弱点を分析します。
4. モデルが誤った例に似た、より複雑な新しい例を生成するように依頼します。

有名なStanford Alpacaデータセット（52,000の「指示-応答」ペア）は、まさにこの仕組みで作成されました。これはGPT-3モデルによって生成され、オープンソースのLLaMAモデルを指示に従うアシスタントレベルにまでファインチューニングすることを可能にしました。

4. 後処理とフィルタリング

データ生成後には、常にフィルタリングを行い、低品質なサンプルを除外します。手法は単純なもの（重複の削除、フォーマットの確認）から、以下のような複雑なものまで様々です：

• 批評家モデルの使用: 実データと合成データを区別する別の分類器を学習させ、最も現実的でないサンプルを排除します。
• 信頼度によるフィルタリング: LLMが正しい回答/ラベルを高い信頼度で予測したサンプルのみを残します。
• データの重み付け: 誤りやハルシネーションが疑われるサンプルに対し、学習時の損失関数における重みを小さく割り当て、その悪影響を低減します（SunGenメソッド）。

5. Execution Feedback - 実行フィードバックによる学習

この手法は、特にプログラムコードの生成に有効です。自然言語のテキストとは異なり、コードには「実行可能である」という形式的な正しさの基準があります。サイクルは次のようになります：

1. LLMがタスクを解決するためのコードを生成します。
2. コードは自動的に実行され、テストに合格するかどうかが検証されます。
3. 正しい解決策は学習データセットに含まれます。不正解なものは破棄されるか、モデルが誤りを修正するためのシグナル（報酬）を受け取ります。

合成データの応用

• データ不足の状況下でのタスク改善: 合成データは、実ラベル付きデータが少ない場合に最も効果を発揮します。研究によると、100件の実データに100件の合成データを加えることで、分類器の精度が3～26%向上することが示されています。
• インストラクションデータセットの作成 (Instruction Tuning): AlpacaやCode Alpacaのようなプロジェクトは、LLMを用いることで、アシスタントモデルを学習させるための大規模で高品質なデータセットをほぼゼロから作成できることを実証しました。
• 情報検索と質問応答 (QA): InParsメソッドは、LLMを使用して既存のドキュメントに対する検索クエリを生成します。これにより、検索システムを学習させるための「質問-関連ドキュメント」のペアを自動的に作成できます。
• プライバシー保護: 医療や金融の分野では、実際の個人データにアクセスすることなくモデルを学習させるために合成データが使用されています。例えば、米国退役軍人省はCOVID-19パンデミックの際に、情報共有のために合成医療データを生成しました。

利点とリスク

利点

• コスト削減と開発の迅速化: モデルによるデータ生成は、手作業のラベリングよりも大幅に安価で高速です。
• スケーラビリティ: 合成データは、ほぼ無制限の量で生成することが可能です。
• 制御可能性: 開発者は、生成されるデータの構成、スタイル、複雑さを柔軟に調整できます。
• プライバシーの遵守: 機密データを扱うための匿名化された代替手段を提供します。
• モデルの堅牢性 (Robustness): 多様で意図的に難しく作られた合成サンプルで学習させることで、モデルは過学習しにくくなり、予期せぬ入力データに対してより堅牢になります。

限界とリスク

• 事実の不正確さ（ハルシネーション）: LLMは誤った事実を生成することがあり、それらが学習データセットに含まれると、新しいモデルに誤りが固定化されてしまいます。
• 不十分な現実性: 合成テキストは、定型的すぎたり、形式的すぎたり、あるいは生きた言語の多様性をすべて反映していなかったりすることがあり、モデルの汎化能力を低下させます。
• 体系的バイアスの増幅: LLMは、その学習データに存在する社会的ステレオタイプや偏見を受け継ぎ、増幅させる可能性があります。
• 「モデル崩壊」のリスク: 以前のバージョンのモデルが生成したデータでモデルを再学習させ続けると、徐々に品質が低下し、希少な現象が「忘却」されてしまう現象です。
• プライバシー漏洩の可能性: 差分プライバシーなどの特別な対策を講じなければ、LLMが学習データセットから実データの一部を偶然に再現してしまい、個人が特定されるリスクがあります。

展望と研究の方向性

• プロンプト選択の自動化: 高品質なデータを生成するための最適なプロンプトを自動的に見つける手法の開発。
• マルチモーダルな合成データ生成: 組み合わせデータ（テキスト＋画像、音声、動画）の生成へと方法論を拡張すること。
• 品質評価指標の開発: 合成データの有用性、多様性、現実性を評価するための標準化されたベンチマークの作成。
• バイアスの管理: 例えば、反事実的サンプルを生成することを通じて、生成データ内の偏見を制御し、低減するための手法の開発。
• 産業界への安全な導入: 重要分野で合成データを使用するための法的・倫理的基準の策定。

関連リンク

• 概説論文：Synthetic Data Generation Using Large Language Models (2025)
• 差分プライバシーを用いたデータ生成に関するGoogle Researchブログ

参考文献

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.