Synthetic data generation — सिंथेटिक डेटा जनरेशन

LLM की सहायता से सिंथेटिक डेटा जनरेशन — यह एक ऐसी तकनीक है जिसके द्वारा कृत्रिम रूप से ऐसा डेटा तैयार किया जाता है, जो अपनी सांख्यिकीय और संरचनात्मक विशेषताओं में वास्तविक डेटा की नकल करता है, परंतु उसमें कोई वास्तविक व्यक्तिगत जानकारी नहीं होती। बड़े भाषा मॉडलों (LLM) की क्षमताओं का उपयोग करने वाला यह दृष्टिकोण आधुनिक Machine Learning में डेटा की कमी, गोपनीयता और हस्तचालित लेबलिंग की उच्च लागत जैसी समस्याओं के समाधान के लिए एक प्रमुख साधन बन चुका है।

परिभाषा और पृष्ठभूमि

सिंथेटिक डेटा क्या है?

सिंथेटिक डेटा — वह कृत्रिम रूप से निर्मित जानकारी है जो मूल वास्तविक dataset के सांख्यिकीय गुणों और नमूनों को पुनः उत्पन्न करती है। अमेरिका के राष्ट्रीय मानक और प्रौद्योगिकी संस्थान (NIST) इसे ऐसे डेटा के रूप में परिभाषित करता है जो मूल के सांख्यिकीय गुणों को बनाए रखता है किंतु व्यक्तिगत विवरण उजागर नहीं करता। सामान्य गुमनामीकरण (anonymization) के विपरीत, डेटा संश्लेषण पूरी तरह नई प्रविष्टियाँ बनाता है, जो गोपनीयता सुरक्षा का उच्चतर स्तर सुनिश्चित करता है।

आवश्यकता क्यों उत्पन्न हुई?

सिंथेटिक जनरेशन में बढ़ती रुचि के पीछे कई कारण हैं:

• डेटा की कमी: अनेक क्षेत्रों में, विशेषकर अत्यंत विशिष्ट क्षेत्रों में, robust मॉडलों के प्रशिक्षण के लिए पर्याप्त लेबल युक्त गुणवत्तापूर्ण डेटा उपलब्ध नहीं है।
• लेबलिंग की उच्च लागत: डेटा की हस्तचालित लेबलिंग एक श्रमसाध्य और महंगी प्रक्रिया है।
• गोपनीयता की आवश्यकताएँ: कानूनी और नैतिक मानदंड (जैसे GDPR) व्यक्तिगत, चिकित्सीय या वित्तीय जानकारी वाले वास्तविक डेटा के उपयोग को सीमित करते हैं।
• वर्ग असंतुलन: वास्तविक डेटा में कुछ महत्वपूर्ण किंतु दुर्लभ घटनाएँ (edge cases) पर्याप्त रूप से प्रस्तुत नहीं होती, जिससे मॉडल उन्हें सीखने में असमर्थ रहता है।

अत्यंत विशाल पाठ और कोड corpus पर प्रशिक्षित LLM इन समस्याओं के समाधान के लिए एक शक्तिशाली साधन बन गए हैं, क्योंकि वे वास्तविक डेटा की शैलियों और वितरणों की नकल करने वाला सुसंगत और विविध content उत्पन्न करने में सक्षम हैं।

LLM की सहायता से जनरेशन के प्रमुख तरीके

LLM का उपयोग करके सिंथेटिक डेटा बनाने के कई प्रमुख दृष्टिकोण हैं।

1. Prompt-based जनरेशन

यह एक प्रत्यक्ष विधि है जिसमें LLM एक पाठ्य अनुरोध (prompt) के आधार पर डेटा उत्पन्न करता है।

• Zero-shot (शून्य से): मॉडल केवल कार्य के विवरण के आधार पर, बिना कोई नमूना दिए, उदाहरण उत्पन्न करता है। यह दृष्टिकोण विविधता को बढ़ावा देता है किंतु कम प्रासंगिक परिणाम दे सकता है।
• Few-shot (कुछ उदाहरणों के साथ): prompt में वांछित आउटपुट के कुछ उदाहरण (नमूने) शामिल किए जाते हैं। इससे मॉडल को दिशा मिलती है और उत्पन्न डेटा की प्रासंगिकता बढ़ती है, किंतु दोहराव और विविधता की हानि का खतरा रहता है, क्योंकि मॉडल नमूनों की नकल करने की प्रवृत्ति रखता है।

2. Retrieval-Augmented जनरेशन

यह विधि सिंथेटिक डेटा की तथ्यात्मक सटीकता बढ़ाने और hallucination के जोखिम को कम करने के लिए बनाई गई है। मॉडल केवल अपने आंतरिक ज्ञान पर निर्भर नहीं रहता, बल्कि किसी विश्वसनीय बाहरी स्रोत से प्रदान किए गए संदर्भ का उपयोग करता है। उदाहरण के लिए, "प्रश्न-उत्तर" युगल उत्पन्न करने के लिए पहले Wikipedia से एक प्रासंगिक अनुच्छेद निकाला जाता है, फिर LLM से उसी पाठ पर आधारित प्रश्न और उत्तर तैयार करने को कहा जाता है।

3. Self-Refinement — पुनरावर्ती परिष्करण और स्व-अधिगम

विधियों का यह वर्ग डेटा की गुणवत्ता सुधारने के लिए एक feedback loop का उपयोग करता है। सबसे प्रसिद्ध उदाहरण Self-Instruct विधि है।

1. मॉडल डेटा का एक प्रारंभिक सेट उत्पन्न करता है।
2. इस डेटा का उपयोग मॉडल (या उसकी प्रतिलिपि) को fine-tuning के लिए किया जाता है।
3. उत्पन्न डेटा पर मॉडल की त्रुटियों और कमजोरियों का विश्लेषण किया जाता है।
4. मॉडल से नए, अधिक जटिल उदाहरण उत्पन्न करने को कहा जाता है जो उन उदाहरणों से मिलते-जुलते हों जिन पर वह गलत हुआ था।

ठीक इसी योजना के अनुसार प्रसिद्ध dataset Stanford Alpaca बनाया गया — GPT-3 द्वारा उत्पन्न 52,000 "निर्देश-प्रतिक्रिया" युगल, जिन्होंने ओपन-सोर्स मॉडल LLaMA को एक निर्देश-पालक सहायक के स्तर तक fine-tuning करना संभव बनाया।

4. पोस्ट-प्रोसेसिंग और फ़िल्टरिंग

डेटा उत्पन्न होने के बाद निम्न-गुणवत्ता के उदाहरणों को हटाने के लिए फ़िल्टरिंग हमेशा लागू की जाती है। विधियाँ सरल (दोहराव हटाना, प्रारूप जाँच) से लेकर जटिल तक होती हैं, जैसे:

• क्रिटिक मॉडल का उपयोग: एक अलग classifier प्रशिक्षित किया जाता है जो वास्तविक और सिंथेटिक डेटा में अंतर करता है और सबसे कम यथार्थपूर्ण नमूनों को हटाता है।
• विश्वास-आधारित फ़िल्टरिंग: केवल वे उदाहरण रखे जाते हैं जिनके लिए LLM उच्च विश्वास के साथ सही उत्तर/लेबल का पूर्वानुमान करता है।
• डेटा वेटिंग: जिन उदाहरणों में त्रुटि या hallucination का संदेह हो, उन्हें प्रशिक्षण के दौरान loss function में कम वजन दिया जाता है ताकि उनका नकारात्मक प्रभाव कम हो (SunGen विधि)।

5. Execution Feedback के साथ प्रशिक्षण

यह विधि प्रोग्रामिंग कोड की जनरेशन के लिए विशेष रूप से प्रभावी है। प्राकृतिक भाषा के पाठ के विपरीत, कोड में शुद्धता का एक औपचारिक मानदंड होता है — उसे चलाया जा सकता है। चक्र इस प्रकार है:

1. LLM किसी समस्या के समाधान के लिए कोड उत्पन्न करता है।
2. कोड स्वचालित रूप से चलाया जाता है और परीक्षणों के विरुद्ध जाँचा जाता है।
3. सही समाधान प्रशिक्षण सेट में शामिल किए जाते हैं। गलत समाधान हटा दिए जाते हैं, या मॉडल को त्रुटि सुधार के लिए एक संकेत (reward) मिलता है।

सिंथेटिक डेटा के अनुप्रयोग

• डेटा की कमी वाले कार्यों में सुधार: सिंथेटिक डेटा सबसे अधिक प्रभावी तब होता है जब वास्तविक लेबल युक्त डेटा कम हो। शोध दर्शाते हैं कि 100 वास्तविक उदाहरणों में 100 सिंथेटिक उदाहरण जोड़ने से classifier की सटीकता 3–26% तक बढ़ सकती है।
• Instruction Tuning के लिए dataset बनाना: Alpaca और Code Alpaca जैसी परियोजनाओं ने प्रदर्शित किया कि LLM की सहायता से लगभग शून्य से बड़े और गुणवत्तापूर्ण dataset बनाए जा सकते हैं जो सहायक मॉडलों को प्रशिक्षित करते हैं।
• सूचना खोज और प्रश्नोत्तर (QA): InPars विधि मौजूदा दस्तावेज़ों के लिए खोज प्रश्न उत्पन्न करने हेतु LLM का उपयोग करती है। इससे खोज प्रणालियों के प्रशिक्षण के लिए "प्रश्न — प्रासंगिक दस्तावेज़" युगल स्वचालित रूप से बनाए जा सकते हैं।
• गोपनीयता सुरक्षा: चिकित्सा और वित्त में सिंथेटिक डेटा का उपयोग वास्तविक व्यक्तिगत डेटा तक पहुँच के बिना मॉडलों को प्रशिक्षित करने के लिए किया जाता है। उदाहरण के लिए, अमेरिकी दिग्गज मामलों के विभाग ने COVID-19 महामारी के दौरान सूचना साझाकरण के लिए सिंथेटिक चिकित्सा डेटा तैयार किया था।

लाभ और जोखिम

लाभ

• लागत में कमी और विकास में तेजी: मॉडल द्वारा डेटा उत्पन्न करना हस्तचालित लेबलिंग की तुलना में काफी सस्ता और तेज़ है।
• मापनीयता (Scalability): सिंथेटिक डेटा को व्यावहारिक रूप से असीमित मात्रा में उत्पन्न किया जा सकता है।
• नियंत्रणीयता: डेवलपर उत्पन्न डेटा की संरचना, शैली और जटिलता को लचीले ढंग से कॉन्फ़िगर कर सकता है।
• गोपनीयता का पालन: संवेदनशील डेटा के साथ काम करने के लिए एक गुमनाम विकल्प प्रदान करते हैं।
• मॉडलों की Robustness: विविध और यहाँ तक कि "चुनौतीपूर्ण" सिंथेटिक उदाहरणों पर प्रशिक्षण मॉडलों को अतिप्रशिक्षण (overfitting) के प्रति कम संवेदनशील और असामान्य इनपुट डेटा के प्रति अधिक प्रतिरोधी बनाता है।

सीमाएँ और जोखिम

• तथ्यात्मक अशुद्धियाँ (Hallucinations): LLM गलत तथ्य उत्पन्न कर सकते हैं, जो प्रशिक्षण सेट में शामिल होने पर नए मॉडलों में स्थायी हो जाते हैं।
• अपर्याप्त यथार्थपूर्णता: सिंथेटिक पाठ बहुत अधिक शाब्लोनिक, औपचारिक हो सकते हैं या जीवंत भाषा की विविधता को प्रतिबिंबित नहीं कर सकते, जिससे मॉडल की सामान्यीकरण क्षमता कम हो जाती है।
• Bias का प्रवर्धन: LLM अपने प्रशिक्षण डेटा में मौजूद सामाजिक रूढ़िवादिता और पूर्वाग्रहों को विरासत में लेते हैं और उन्हें बढ़ा भी सकते हैं।
• "मॉडल कोलैप्स" का जोखिम: यह एक ऐसी घटना है जिसमें पिछले मॉडल संस्करणों द्वारा उत्पन्न डेटा पर मॉडलों का बार-बार प्रशिक्षण गुणवत्ता की क्रमिक गिरावट और दुर्लभ घटनाओं को "भूल जाने" की ओर ले जाता है।
• गोपनीयता रिसाव का खतरा: विशेष उपायों (जैसे differential privacy) के बिना LLM अपने प्रशिक्षण सेट से वास्तविक डेटा के टुकड़े अनायास पुनः उत्पन्न कर सकते हैं, जिससे de-anonymization का जोखिम उत्पन्न होता है।

संभावनाएँ और शोध की दिशाएँ

• Prompt चयन का स्वचालन: ऐसी विधियों का विकास जो गुणवत्तापूर्ण डेटा उत्पन्न करने के लिए इष्टतम prompt स्वचालित रूप से खोजती हैं।
• Multimodal सिंथेटिक जनरेशन: पद्धतियों का विस्तार संयुक्त डेटा (पाठ + चित्र, ऑडियो, वीडियो) की जनरेशन तक।
• गुणवत्ता मेट्रिक्स का विकास: सिंथेटिक डेटा की उपयोगिता, विविधता और यथार्थपूर्णता के मूल्यांकन के लिए मानकीकृत benchmark बनाना।
• Bias प्रबंधन: उत्पन्न डेटा में पूर्वाग्रह को नियंत्रित करने और कम करने की विधियों का विकास, उदाहरण के लिए counterfactual उदाहरण उत्पन्न करके।
• उद्योगों में सुरक्षित कार्यान्वयन: महत्वपूर्ण क्षेत्रों में सिंथेटिक डेटा के उपयोग के लिए कानूनी और नैतिक मानकों का विकास।

संदर्भ

• समीक्षा लेख: Synthetic Data Generation Using Large Language Models (2025)
• Differential Privacy के साथ डेटा जनरेशन पर Google Research का ब्लॉग

साहित्य

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.