Few-Shot and Zero-Shot Learning — یادگیری با نمونه و بدون نمونه
یادگیری با تعداد کم نمونه (Few-shot Learning, FSL) و یادگیری بدون نمونه (Zero-shot Learning, ZSL) — پارادایمهایی در Machine Learning هستند که برای حل مشکل کمبود دادههای برچسبگذاریشده طراحی شدهاند. این پارادایمها به مدلها امکان میدهند بر اساس مقدار بسیار محدودی از اطلاعات، یاد بگیرند و دانش را تعمیم دهند؛ این ویژگی برای کاربرد هوش مصنوعی در سناریوهای واقعی، که در آنها جمعآوری مجموعه دادههای بزرگ غیرممکن یا غیرعملی است، کلیدی محسوب میشود.
مشکل فراگیر کمبود داده
مدلهای مدرن یادگیری عمیق نتایج چشمگیری ارائه میدهند، اما اثربخشی آنها معمولاً مستقیماً به حجم عظیمی از دادههای برچسبگذاریشده وابسته است. جمعآوری و حاشیهنویسی چنین دادههایی فرآیندی پرهزینه، وقتگیر و اغلب غیرممکن است. این مشکل، که به «گرسنگی اطلاعاتی» شهرت دارد، بهویژه در حوزههای زیر حاد است:
- تشخیص بیماریهای نادر.
- تولید صنعتی تخصصی.
- رباتیک و تعامل با اشیاء جدید.
- دستهبندی محصولات یا موضوعات جدیدی که پیوسته ظهور میکنند.
FSL و ZSL راهحلی ارائه میدهند که تأکید را از «دادههای بزرگ» به «دادههای هوشمند» منتقل میکنند و بر انتقال و تعمیم کارآمد دانش تمرکز دارند.
یادگیری با تعداد کم نمونه (Few-shot Learning)
Few-shot Learning (FSL) — پارادایمی است که در آن مدل بر اساس تعداد بسیار کمی از نمونههای برچسبگذاریشده (معمولاً ۱ تا ۵ نمونه) — که مجموعه پشتیبان (support set) نامیده میشوند — یاد میگیرد کلاسهای جدید را تشخیص دهد.
ایده کلیدی
ایده اصلی FSL نه صرفاً یادگیری ویژگیها برای کلاسهای خاص، بلکه یادگیری فرآیند یادگیری (learning to learn) است. مدل باید به سرعت با وظایف جدید و ناآشنا سازگار شود و از حداقل تعداد نمونه استفاده کند. این هدف از طریق بهرهگیری از دانش از پیش کسبشده و راهبردهای سازگاری محقق میشود.
رویکردهای اصلی در FSL
- متاآموزی («یادگیری برای یادگیری»): این پارادایم غالب در FSL است. مدل بر روی مجموعهای از وظایف متنوع آموزش میبیند تا بتواند بهطور مؤثر با وظایف جدید سازگار شود.
- مبتنی بر متریک: مدلها (مثلاً شبکههای سیامی یا پروتوتایپی) یاد میگیرند فضای embedding بسازند که در آن فاصله بین بردارها نزدیکی معنایی را منعکس میکند. طبقهبندی یک نمونه جدید از طریق مقایسه embedding آن با embeddingهای مجموعه پشتیبان انجام میشود.
- مبتنی بر بهینهسازی: مدلها (مثلاً MAML) یاد میگیرند چنان مقداردهی اولیهای برای پارامترها پیدا کنند که امکان fine-tuning سریع (در چند گام گرادیان نزولی) برای وظیفه جدید را فراهم کند.
- یادگیری در بافت (In-Context Learning): با ظهور مدلهای زبانی بزرگ (LLM)، رویکردی محبوب شده که در آن نمونههای مجموعه پشتیبان مستقیماً در prompt به مدل داده میشوند. مدل در طول inference «متاآموزی ضمنی» انجام میدهد و بدون بهروزرسانی وزنها با وظیفه سازگار میشود.
رویکردهای پیشرفته در FSL
- One-shot Learning: این حالت خاصی از FSL است که در آن تعداد نمونهها برای هر کلاس برابر یک است (K=1 در نمادگذاری «N-way K-shot»). نمونههای کلاسیک معماری عبارتند از Matching Networks و Siamese Networks.
- روشهای مولد و افزایش داده: FSL بهطور فعال از مدلهای مولد (GAN، VAE، مدلهای دیفیوژن) برای سنتز نمونههای داده اضافی استفاده میکند. این امر امکان گسترش مصنوعی مجموعه پشتیبان و بهبود کیفیت طبقهبندی، بهویژه برای کلاسهای نادر یا غیرمعمول را فراهم میکند.
- FSL ترانسداکتیو: بر خلاف رویکرد استاندارد (اینداکتیو)، در اینجا مدل هنگام سازگاری نهتنها مجموعه پشتیبان برچسبگذاریشده، بلکه کل مجموعه نمونههای آزمایشی بدون برچسب (پرسشها) را نیز در نظر میگیرد. این رویکرد امکان کشف ساختار داده در پرسشها را، مثلاً از طریق تکنیکهای label propagation، فراهم میکند و استحکام طبقهبندی را افزایش میدهد.
یادگیری بدون نمونه (Zero-shot Learning)
Zero-shot Learning (ZSL) — پارادایمی است که در آن مدل میتواند کلاسهایی را تشخیص دهد که هیچ نمونهای از آنها را در مرحله آموزش ندیده است.
ایده کلیدی
این هدف از طریق استفاده از اطلاعات معنایی کمکی محقق میشود که هم کلاسهای دیدهشده و هم ندیدهشده را توصیف میکند. مدل یاد میگیرد نگاشتی از فضای ویژگیهای ورودی (مثلاً تصاویر) به فضای معنایی مشترک ایجاد کند.
سازوکارهای اطلاعات معنایی
- ویژگیهای معنایی: کلاسها با مجموعهای از ویژگیهای تعریفشده توسط انسان توصیف میشوند (مثلاً برای کلاس «گورخر»: [دارد_راهراه، دارد_سُم، پستاندار_است]).
- بازنماییهای برداری کلمات (Word Embeddings): نام کلاسها یا توصیفات متنی آنها با استفاده از مدلهای زبانی از پیش آموزشدیده (مثلاً Word2Vec، BERT) به embedding تبدیل میشوند.
- Prompting در LLM: با ظهور مدلهای چندوجهی مانند CLIP، ZSL میتواند از طریق مقایسه embedding تصویر با embeddingهای توصیفات متنی کلاسها انجام شود (مثلاً «عکسی از سگ»، «عکسی از گربه»).
انواع ZSL: سنتی، تعمیمیافته، اینداکتیو و ترانسداکتیو
- ZSL سنتی: در مرحله آزمایش، مدل باید نمونهها را تنها از کلاسهای ندیدهشده طبقهبندی کند.
- ZSL تعمیمیافته (Generalized ZSL, GZSL): سناریویی واقعبینانهتر و چالشبرانگیزتر که در آن مدل باید نمونهها را هم از کلاسهای دیدهشده و هم از کلاسهای ندیدهشده طبقهبندی کند. این امر مستلزم آن است که مدل نهتنها موارد جدید را تشخیص دهد، بلکه آنها را از موارد آشنا نیز متمایز کند و با تعصب بهسوی کلاسهای دیدهشده مقابله کند.
- ZSL اینداکتیو: تنظیم استاندارد که در آن مدل تنها بر دادهها و توصیفات معنایی کلاسهای دیدهشده آموزش میبیند، بدون هیچ دسترسی به اطلاعات کلاسهای ندیدهشده.
- ZSL ترانسداکتیو: طرحی پیشرفتهتر که در آن مدل در طول آموزش میتواند از نمونههای بدون برچسب کلاسهای ندیدهشده استفاده کند. این رویکرد امکان سازگاری از پیش فضای معنایی و بهبود کیفیت نهایی را فراهم میکند.
رویکردهای مولد در ZSL
- تولید ویژگیهای کلاسهای ندیدهشده: برای حل مشکل تعصب در GZSL، از مدلهای مولد (VAE، GAN) بهطور گسترده استفاده میشود. این مدلها نه خود تصاویر، بلکه بردارهای ویژگی (embedding) کلاسهای ندیدهشده را بر اساس توصیفات معنایی آنها سنتز میکنند. این رویکرب امکان ایجاد تعادل در مجموعه داده برای آموزش طبقهبند نهایی را فراهم میکند.
تحلیل مقایسهای و همافزایی
| جنبه | یادگیری با تعداد کم نمونه (FSL) | یادگیری بدون نمونه (ZSL) |
|---|---|---|
| ایده اصلی | یادگیری سازگاری سریع با کلاسهای جدید بر اساس چند نمونه. | یادگیری تشخیص کلاسهای جدید بر اساس توصیفات معنایی آنها. |
| نیاز به داده برای وظیفه/کلاس جدید | چند نمونه برچسبگذاریشده (۱-۵) برای هر کلاس جدید. | صفر نمونه برچسبگذاریشده؛ توصیف معنایی الزامی است. |
| انتقال دانش | یادگیری دانش رویهای («چگونه سازگار شوند») یا فضای ویژگی مناسب. | یادگیری روابط معنایی و ویژگیها، انتقال دانش از طریق فضای معنایی مشترک. |
| موارد استفاده معمول | نمونهسازی سریع، شخصیسازی، تشخیص اشیاء نادر، رباتیک. | کشف گونههای جدید، دستهبندی موضوعات نوظهور، پردازش انواع کاملاً جدید محصولات. |
تفاوتهای کلیدی و روندهای مدرن
- تمایز بین Zero-shot Learning و Zero-shot Prompting: تمایز این دو مفهوم اهمیت دارد. ZSL یک پارادایم معماری در Machine Learning است که به مدل و اطلاعات معنایی خاصی نیاز دارد. Zero-shot Prompting یک تکنیک کاربردی prompt engineering است که در آن یک مدل زبانی بزرگ (مثلاً GPT-4) وظیفه را بدون نمونه در prompt، و صرفاً با تکیه بر دانش درونی خود، حل میکند.
- نقش پیشآموزش در مقیاس بزرگ: موفقیت مدرن FSL و ZSL تا حد زیادی مرهون مدلهای پایه قدرتمند (BERT، CLIP، GPT-4) است. پیشآموزش این مدلها بر حجم عظیمی از دادهها، یک frontend embedding جهانی و غنی از نظر معنایی ایجاد میکند که پایه مناسبی برای سازگاری سریع و استنتاج معنایی در شرایط کمبود داده فراهم میآورد.
FSL و ZSL نقاط متفاوتی در طیف کارایی استفاده از داده را نمایندگی میکنند و اغلب بهصورت مشترک بهکار میروند. بهعنوان مثال، ZSL میتواند برای مقداردهی اولیه بازنماییها استفاده شود که سپس با استفاده از FSL هنگام ظهور اولین نمونههای کلاس جدید fine-tune میشوند.
مؤسسات پژوهشی کلیدی و مشارکتکنندگان
پژوهش در حوزه FSL و ZSL هم در محافل دانشگاهی و هم در آزمایشگاههای صنعتی بهطور فعال در جریان است.
- دانشگاهها: دانشگاه استنفورد، دانشگاه پکن، دانشگاه ملی سنگاپور.
- آزمایشگاههای صنعتی: Google AI، Meta AI، OpenAI.
با ظهور مدلهای پایه قدرتمند، تمرکز پژوهش از طراحی معماریهای تخصصی برای FSL/ZSL به روشهای سازگاری کارآمد این مدلها تغییر یافته است.
همچنین ببینید
- مدلهای زبانی بزرگ
منابع
- Finn, C. et al. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. arXiv:1703.03400.
- Koch, G. et al. (2015). Siamese Neural Networks for One-Shot Image Recognition. PDF.
- Vinyals, O. et al. (2016). Matching Networks for One Shot Learning. arXiv:1606.04080.
- Snell, J. et al. (2017). Prototypical Networks for Few-Shot Learning. arXiv:1703.05175.
- Sung, F. et al. (2018). Learning to Compare: Relation Network for Few-Shot Learning. arXiv:1711.06025.
- Chen, Y. et al. (2021). Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning. arXiv:2003.04390.
- Wang, Y. et al. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. arXiv:1904.05046.
- Xian, Y. et al. (2018). Zero-Shot Learning — A Comprehensive Evaluation of the State of the Art. arXiv:1707.00600.
- Verma, V. K. et al. (2018). Generalized Zero-Shot Learning via Synthesized Examples. arXiv:1712.03878.
- Radford, A. et al. (2021). Learning Transferable Visual Models from Natural Language Supervision. arXiv:2103.00020.
- Xian, Y. et al. (2019). Zero-Shot Learning via Simultaneous Generating and Learning. arXiv:1910.09446.
- Verma, V. K. et al. (2017). Zero-Shot Learning via Generative Adversarial Training of Class-Conditional Feature Vectors. arXiv:1712.00981.