LLaMA (Meta AI) — لاما

LLaMA (Large Language Model Meta AI) — هي عائلة من نماذج اللغة الكبيرة (LLM) مفتوحة المصدر في الغالب، تطورها وحدة الأبحاث في Meta AI. تُبنى نماذج LLaMA على بنية المحولات المعدلة وتركز على كفاءة الحوسبة العالية، وإضفاء الطابع الديمقراطي على الوصول إلى تقنيات الذكاء الاصطناعي المتقدمة، وسهولة التكيف مع المهام المتخصصة. تطورت العائلة من الإصدار البحثي الأولي LLaMA 1 (فبراير 2023) إلى نماذج LLaMA 4 متعددة الوسائط (المخطط إصدارها في عام 2025).

التسمية

الاختصار LLaMA يرمز إلى Large Language Model Meta AI (نموذج لغة كبير من Meta AI).

• Large Language Model — يؤكد على حجم النماذج، التي تُقاس معلماتها بالمليارات إلى التريليونات.
• Meta AI — يشير إلى المطور، وهو فريق البحث في Meta.

تاريخ التطوير

بدأ تطوير LLaMA في أواخر عام 2022 كاستجابة استراتيجية من Meta لنجاح ChatGPT من OpenAI. شكل مارك زوكربيرج فريقًا متعدد التخصصات يضم باحثين من مختبر FAIR (Facebook AI Research). لعب يان ليكون، رئيس FAIR، دورًا رئيسيًا في فلسفة المشروع، حيث التزم منذ عام 2013 بمبدأ الانفتاح الكامل لجميع أبحاث المختبر.

تم إصدار النسخة الأولى، LLaMA 1، في فبراير 2023 بترخيص بحثي. بعد فترة وجيزة من الإصدار، في مارس 2023، تسربت أوزان النموذج إلى الشبكة عبر BitTorrent. هذا الحدث، على عكس المخاوف، لم يوقف المشروع بل حفزه، حيث أتاح للباحثين المستقلين والمتحمسين في جميع أنحاء العالم فرصة تجربة النموذج. ونتيجة لذلك، ظهرت عشرات الآلاف من النماذج المشتقة على منصة Hugging Face. الإصدارات اللاحقة، بدءًا من LLaMA 2، صدرت بترخيص تجاري، مما عزز مكانة LLaMA كلاعب رئيسي في سوق نماذج الذكاء الاصطناعي المفتوحة.

تطور النماذج والجدول الزمني للإصدارات

الجدول الزمني لتطور نماذج LLaMA

الإصدار	تاريخ الإصدار	نطاق المعلمات	الابتكارات والميزات الرئيسية
LLaMA 1	فبراير 2023	7B – 65B	البنية الأساسية (RMSNorm, SwiGLU, RoPE). تدريب على 1.4 تريليون توكن. نافذة سياق بحجم 2048 توكن. ترخيص بحثي.
LLaMA 2	يوليو 2023	7B – 70B	تدريب إضافي للحوارات (RLHF). إدخال آلية الانتباه بالاستعلامات المجمعة (Grouped-Query Attention - GQA). نافذة سياق بحجم 4096 توكن. أول ترخيص تجاري.
Code Llama	أغسطس 2023	7B – 70B	إصدار متخصص للكود. تدريب إضافي على 500 مليار توكن من الكود. إصدارات: أساسي، متخصص في Python، ومضبوط بالتعليمات (instruction-tuned).
LLaMA 3	أبريل 2024	8B, 70B	تدريب على 15 تريليون توكن. مُرمِّز (tokenizer) محسن مع مفردات بحجم 128 ألف توكن. أداء عالٍ (82% على MMLU).
LLaMA 3.1	يوليو 2024	8B, 70B, 405B	نموذج رائد 405B بأداء يضاهي GPT-4o. نافذة سياق تصل إلى 128 ألف توكن. إضافة إمكانية معالجة الصور.
LLaMA 4	(مخطط: أبريل 2025)	109B (Scout), 400B (Maverick), 2T (Behemoth)	بنية مزيج الخبراء (Mixture-of-Experts - MoE). تعددية وسائط أصلية (نص، صور، فيديو). نافذة سياق تصل إلى 10 ملايين توكن.

البنية المعمارية

تستخدم LLaMA بنية المحول-المفكك التراجعي التلقائي (autoregressive transformer-decoder)، لكنها تقدم عددًا من التحسينات الرئيسية التي تزيد من كفاءة الحوسبة وجودة النص المُولَّد:

• Pre-normalization (التسوية المسبقة). تُطبق التسوية عند مدخل كل طبقة فرعية من المحول، وليس عند المخرج. هذا النهج يثبّت عملية تدريب الشبكات العميقة جدًا ويمنع مشاكل التدرجات (gradients).
• RMSNorm (Root Mean Square Layer Normalization). بدلًا من LayerNorm القياسية، تُستخدم RMSNorm. هذه التقنية للتسوية تلغي عملية طرح المتوسط، مما يسرّع الحسابات بنسبة 10–50% مع الحفاظ على الاستقرار.
• SwiGLU (Swish-Gated Linear Unit). تُستخدم SwiGLU كدالة تنشيط بدلًا من ReLU أو GELU. آلية البوابات هذه (gating mechanism) تخلق تدفقًا أكثر سلاسة للتدرجات وتحسن جودة النموذج.
• RoPE (Rotary Position Embeddings, التضمينات الموضعية الدورانية). لتشفير مواضع التوكنات، تُستخدم التضمينات الموضعية النسبية RoPE، التي تسمح للنموذج بالاستقراء بشكل أفضل على التسلسلات التي تتجاوز في طولها تلك المستخدمة أثناء التدريب.
• GQA (Grouped-Query Attention). تم إدخال هذه التقنية في LLaMA 2، وهي تحسين لآلية الانتباه متعدد الرؤوس (multi-head attention) تقلل بشكل كبير من متطلبات الذاكرة وتسرع من توليد النص.
• Mixture-of-Experts (MoE) (مخطط لها في LLaMA 4). بنية تقسم معلمات النموذج إلى شبكات فرعية "خبيرة"، وتنشط جزءًا صغيرًا منها فقط لكل استعلام. هذا يقلل بشكل كبير من التكاليف الحسابية للاستدلال (inference).

تكوينات LLaMA 1

المعلمات المعمارية لنماذج LLaMA 1

النموذج	المعلمات	أبعاد الحالة الخفية	عدد الطبقات	عدد رؤوس الانتباه	حجم بيانات التدريب
7B	6.7B	4096	32	32	1.0T توكن
13B	13.0B	5120	40	40	1.0T توكن
33B	32.5B	6656	60	52	1.4T توكن
65B	65.2B	8192	80	64	1.4T توكن

بيانات التدريب

زاد حجم مجموعات بيانات التدريب من 1.4 تريليون توكن لـ LLaMA 1 إلى 15 تريليون لـ LLaMA 3. تُستخدم مصادر متاحة للعامة للتدريب، بما في ذلك Common Crawl (الذي يشكل ما يصل إلى 67% من البيانات)، وC4، وGitHub، وWikipedia، وBooks، وArXiv، وStack Exchange. بالنسبة لـ LLaMA 3، تم استخدام بيانات خاصة عالية الجودة أيضًا.

الأداء والمقارنة

• على مؤشرات الأداء (Benchmarks): يُظهر نموذج LLaMA 3.1 (405B) نتائج قريبة من GPT-4o: في اختبار MMLU، يحقق 88.6%، متخلفًا عن GPT-4o بنسبة 0.1 نقطة مئوية فقط. في مهمة توليد الكود HumanEval، يُظهر LLaMA 3.1 نسبة 89% (GPT-4o — 90.2%).
• الكفاءة من حيث المعلمات: غالبًا ما تتفوق نماذج LLaMA ذات العدد الأقل من المعلمات على نماذج المنافسين الأكبر حجمًا. على سبيل المثال، تفوق LLaMA 1 (13B) على GPT-3 (175B) في معظم الاختبارات.
• التكلفة: عند الاستضافة المحلية، يمكن أن تكون تكلفة الاستدلال (inference) لـ LLaMA أقل بما يصل إلى 50 مرة مقارنة باستخدام واجهات برمجة التطبيقات (APIs) الاحتكارية، مما يجعل التكنولوجيا متاحة للشركات الصغيرة والمتوسطة.

الترخيص

• LLaMA 1 تم توزيعه بموجب ترخيص بحثي غير تجاري مع إمكانية الوصول عند الطلب.
• LLaMA 2 والإصدارات الأحدث تُوزع بموجب ترخيص Llama Community License، الذي يسمح بالاستخدام التجاري والتعديل. ومع ذلك، يحتوي الترخيص على قيود: يجب على الشركات التي لديها أكثر من 700 مليون مستخدم نشط شهريًا الحصول على إذن خاص من Meta. يثير هذا نقاشات حول ما إذا كان LLaMA نموذجًا مفتوحًا بالكامل.

التطبيقات

تم دمج نماذج LLaMA في منتجات آلاف الشركات وتُستخدم في مجالات مختلفة:

• القطاع المؤسسي: تستخدم Zoom نموذج LLaMA في AI Companion لتلخيص الاجتماعات؛ وتستخدمه Shopify لمعالجة 40–60 مليون طلب يوميًا لإثراء البيانات الوصفية للمنتجات؛ وتستخدمه Instacart في مساعدها الداخلي Ava.
• العلوم والمجتمع: يُستخدم Meditron (وهو تكييف لـ LLaMA) للتشخيص الطبي في المناطق ذات الموارد المحدودة.
• القطاع الحكومي والصناعة: أبرمت Meta شراكات مع Lockheed Martin وPalantir. تستخدم NASA نموذج LLaMA 3 على محطة الفضاء الدولية كمساعد غير متصل بالإنترنت لتنفيذ عمليات حرجة دون الحاجة للاتصال بالأرض.

القيود والانتقادات

• التحيز والأمان: تُظهر المراجعات المستقلة أن نماذج LLaMA، على الرغم من تدابير الأمان، يمكن أن تعيد إنتاج الصور النمطية الضارة. أدى تسريب أوزان LLaMA 1 إلى تفاقم المخاوف بشأن الاستخدام الخبيث المحتمل للتكنولوجيا.
• الفجوات المعرفية: في المجالات شديدة التخصص، قد يُظهر LLaMA فجوات. على سبيل المثال، بلغت الدقة في الاختبار الطبي nephSAP ما بين 17–30% مقابل 73% لـ GPT-4.
• استهلاك الطاقة: يتطلب تدريب النماذج الكبيرة موارد هائلة. تطلب تدريب LLaMA 1 حوالي 2,638 ميجاوات-ساعة، وهو ما يعادل انبعاثات 1,015 طن من ثاني أكسيد الكربون (CO₂).

المستقبل

تخطط Meta لاستثمار ما يصل إلى 65 مليار دولار في البنية التحتية للذكاء الاصطناعي بحلول عام 2025. يجري تطوير نموذج LLaMA 4 Behemoth الذي سيحتوي على 2 تريليون معلمة، وسيدعم أكثر من 200 لغة، وسيحظى بتكامل عميق مع منتجات الميتافيرس.

المراجع

• Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
• Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
• Grattafiori, A. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Jiang, Z. et al. (2023). Pre‑RMSNorm and Pre‑CRMSNorm Transformers: Equivalent and Efficient Pre‑LN Transformers. arXiv:2305.14858.
• Rozière, B. et al. (2023). Code Llama: Open Foundation Models for Code. arXiv:2308.12950.
• Shazeer, N. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
• Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
• Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971.
• Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine‑Tuned Chat Models. arXiv:2307.09288.
• Zhang, B.; Sennrich, R. (2019). Root Mean Square Layer Normalization. arXiv:1910.07467.

انظر أيضًا

• GPT
• Большие языковые модели
• المحول (بنية الشبكة العصبية)