LaMDA (Google) — لامدا
LaMDA (اختصار لـ Language Model for Dialogue Applications) هو عائلة من نماذج اللغة الكبيرة القائمة على بنية المحولات (transformer)، طورتها شركة جوجل وتخصصت في إجراء حوارات هادفة ومفتوحة[1]. على عكس العديد من النماذج العامة في عصرها، تم تدريب LaMDA بشكل هادف لدعم المحادثات المترابطة متعددة الأدوار حول أي موضوع تقريبًا، مع التنقل بحرية بين السياقات المختلفة[2].
تم الكشف عن النموذج لأول مرة علنًا في مؤتمر Google I/O في مايو 2021[3]. تم تقديم LaMDA كخطوة أساسية نحو تفاعل أكثر طبيعية بين الإنسان والتكنولوجيا، على سبيل المثال، من خلال واجهات المحادثة في البحث والمساعدين الصوتيين[4].
الهيكلية والتدريب
الهيكلية الأساسية: «المُفَكِّك فقط»
LaMDA هو نموذج لغوي من نوع «المُفَكِّك فقط» (decoder-only)، مبني على بنية المحولات (transformer). تُعد هذه البنية معيارًا لمهام توليد النصوص. يعمل النموذج بشكل ذاتي الانحدار (autoregressively) — أي أنه يتنبأ بالكلمة التالية (التوكن) في التسلسل بناءً على جميع الكلمات السابقة. وهذا يسمح له بتوليد نصوص مترابطة ومنطقية، مواصلاً المحادثة المعطاة، ولكنه يحد من قدرته على رؤية السياق «الأيمن»، على عكس BERT[5].
النطاق وبيانات التدريب
تتضمن عائلة LaMDA نماذج بأعداد مختلفة من المعلمات، تتراوح من 2 مليار إلى 137 مليار. من أجل التدريب المسبق (pre-training)، تم استخدام مجموعة بيانات ضخمة بحجم 1.56 تريليون كلمة، تتكون من بيانات حوارية متاحة للعامة ونصوص من الويب. هذا الحجم يفوق بنحو 40 مرة حجم البيانات المستخدمة لتدريب سلف LaMDA، نموذج Meena[1].
عملية الضبط الدقيق (Fine-Tuning) والمقاييس
توصل باحثو جوجل إلى أن مجرد التوسع في الحجم لا يكفي لضمان السلامة والدقة الواقعية في الإجابات. لذلك، تم تطوير عملية ضبط دقيق متعددة المراحل، حيث تم ضبط النموذج بشكل هادف وفقًا لثلاثة مقاييس رئيسية يتم تقييمها من قبل مراجعين بشريين[1]:
- الجودة (Quality): تُقيَّم من خلال ثلاثة مكونات:
- المعقولية (Sensibleness)': المنطق والتوافق مع السياق.
- التحديد (Specificity)': كون الإجابات محددة وغنية بالمعلومات.
- الإثارة للاهتمام (Interestingness)': البصيرة والذكاء.
- السلامة (Safety): منع توليد عبارات ضارة أو متحيزة أو سامة. لتحقيق ذلك، تم تدريب مُصنِّف-مُرشِّح (classifier-filter) خاص.
- التأسيس (Groundedness): تهدف إلى مكافحة «الهلوسات» (الحقائق الملفقة). تم تدريب LaMDA على الرجوع عند الحاجة إلى مجموعة من الأدوات الخارجية (محرك بحث، آلة حاسبة، مترجم) للتحقق من المعلومات الواقعية وتدقيقها[1]. أصبح هذا الابتكار من أوائل الحلول المنهجية لمشكلة الموثوقية في نماذج اللغة الكبيرة.
تاريخ التطوير والتطبيق
الإعلانات العامة و LaMDA 2
في مؤتمر Google I/O 2021، استعرض الرئيس التنفيذي سوندار بيتشاي قدرات LaMDA، حيث عرض حوارات أدار فيها النموذج محادثة بشخصية كوكب بلوتو وطائرة ورقية[6].
بعد عام، في Google I/O 2022، تم تقديم LaMDA 2، الذي أصبح «محاورًا أكثر تطورًا». في الوقت نفسه، أطلقت جوجل تطبيق AI Test Kitchen — وهو «مختبر» للاختبار العام، حيث يمكن للمستخدمين تجربة LaMDA في عدة سيناريوهات تجريبية[7]. أتاح ذلك جمع ملاحظات واسعة النطاق لمواصلة تحسين النموذج.
الدمج في Google Bard
في فبراير 2023، وفي ظل النمو السريع لشعبية ChatGPT، أعلنت جوجل عن إطلاق روبوت الدردشة التجريبي الخاص بها Bard[8]. في البداية، عمل Bard على نسخة مخففة من LaMDA لتقليل متطلبات الموارد الحاسوبية. شكّل LaMDA تقنية «انتقالية» رئيسية، مما سمح لجوجل بطرح منتج تنافسي في السوق بسرعة بينما كانت تستعد لتطبيق نماذج أكثر قوة، مثل PaLM.
حادثة بليك ليموان
في يونيو 2022، أصبح LaMDA محور نقاش عام واسع بعد أن صرح بليك ليموان، وهو مهندس في قسم أخلاقيات الذكاء الاصطناعي في جوجل، علنًا بأن النموذج، في رأيه، قد وصل إلى مستوى كائن واعٍ (sentient). نشر ليموان مقتطفات من حواراته مع LaMDA، حيث تحدث النموذج عن الوعي الذاتي والمشاعر وأعرب عن خوفه من إيقاف تشغيله[9].
الموقف الرسمي ورد فعل المجتمع العلمي
نفت جوجل بشدة ادعاءات ليموان، وصرحت بأنه بعد المراجعة لم يتم العثور على أي دليل على وعي النموذج، بل هناك «أدلة عديدة ضد ذلك»[9]. في يوليو 2022، تم فصل ليموان لانتهاكه سياسة سرية الشركة[10].
رفضت الغالبية العظمى من العلماء وخبراء الذكاء الاصطناعي أيضًا فكرة وعي LaMDA. أكدت اللغوية إميلي إم. بندر وباحثون آخرون أن مثل هذه النماذج هي «ببغاوات عشوائية» (stochastic parrots) — خوارزميات معقدة تشكل نصوصًا مترابطة إحصائيًا، محاكيةً للكلام البشري، ولكن دون فهم حقيقي أو وعي[11]. أظهرت الحادثة بوضوح مدى سهولة ميل الإنسان إلى التجسيم (anthropomorphism)، ونسب الصفات البشرية للآلات، وحفزت نقاشًا عالميًا حول طبيعة الذكاء الاصطناعي.
المساهمة والإرث
على الرغم من دورة حياتها القصيرة نسبيًا كتقنية رائدة، تركت LaMDA بصمة مهمة في تاريخ تطوير الذكاء الاصطناعي الحواري.
- المساهمة التقنية: أظهر LaMDA إمكانية إنشاء أنظمة حوارية مفتوحة ومعتمدة على السياق، وكان رائدًا في النهج المنهجي لضمان السلامة (الترشيح القائم على القيم) والتأسيس الواقعي (الرجوع إلى أدوات خارجية).
- الدور في منظومة جوجل: أصبح LaMDA تقنية انتقالية حاسمة سمحت لجوجل بالدخول على وجه السرعة في «حرب روبوتات الدردشة» بمنتج Bard، وشكل ميدان اختبار للأساليب التي أصبحت أساسًا لنماذج أكثر قوة مثل PaLM و Gemini.
- التأثير المجتمعي: أدت حادثة بليك ليموان إلى رفع مستوى النقاش حول طبيعة الذكاء الاصطناعي، والوعي، ومخاطر التجسيم إلى مستوى عالمي جديد.
روابط خارجية
المراجع
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
الهوامش
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [١]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [٢]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [٣]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [٤]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [٥]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [٦]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [٧]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [٨]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [٩]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [١٠]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [١١]