FlashAttention-3 — فلاش أتنشن-3

FlashAttention-3 هي خوارزمية لتحسين آلية الانتباه (attention) في الشبكات العصبية التحويلية (transformer)، تم تصميمها للاستفادة القصوى من القدرات العتادية لوحدات معالجة الرسومات (GPU) ذات معمارية NVIDIA Hopper (H100). قُدمت الخوارزمية في عام 2024 من قبل مجموعة من الباحثين من شركات Colfax Research، وMeta، وNVIDIA، وGeorgia Tech، وجامعة برينستون، وTogether AI. قُبلت الورقة البحثية في مؤتمر NeurIPS 2024 وتم تمييزها كـ spotlight.

تعد FlashAttention-3 التكرار الثالث في عائلة الخوارزميات، بعد FlashAttention (2022) وFlashAttention-2 (2023). هدفها الرئيسي هو تسريع تدريب واستدلال نماذج اللغة الكبيرة (LLM) بشكل كبير، مع الحفاظ على دقة الحسابات.

مقدمة وخلفية تاريخية

مشكلة آلية الانتباه

المكون الرئيسي في نماذج الترانسفورمر هو آلية الانتباه الذاتي (self-attention)، ولكن تعقيدها الحسابي واستهلاكها للذاكرة ينموان بشكل تربيعي (O(n²)) مع زيادة طول التسلسل المدخل (n). يؤدي هذا إلى "عنق زجاجة" خطير، حيث أن وحدات معالجة الرسومات الحديثة مُحسَّنة لعمليات ضرب المصفوفات السريعة، لكن حساب الدوال الأسية (على سبيل المثال، في Softmax) أبطأ بدرجات. بالإضافة إلى ذلك، في التنفيذ المباشر (naive implementation)، يجب تخزين موتر انتباه وسيط كبير في ذاكرة GPU، مما يحد من قابلية التوسع للنماذج.

FlashAttention وFlashAttention-2

لحل هذه المشكلة، تم اقتراح FlashAttention في عام 2022، والذي قلل من عدد عمليات الوصول إلى الذاكرة العالمية البطيئة (HBM) باستخدام تقنيتين:

• المعالجة بالكتل (tiling): يتم تقسيم الحسابات إلى كتل (tiles) تُعالج في الذاكرة السريعة على الشريحة (SRAM).
• دمج العمليات: تُنفذ جميع العمليات (ضرب المصفوفات، Softmax) في نواة GPU واحدة دون كتابة النتائج الوسيطة إلى الذاكرة العالمية.

أدى هذا إلى تقليل التعقيد من حيث الذاكرة من تربيعي إلى خطي، وسرّع الحسابات بمقدار 2–4 مرات.

في عام 2023، تم تقديم نسخة محسنة — FlashAttention-2 — والتي حسّنت من توازي الحسابات. على وحدات معالجة الرسومات بمعمارية NVIDIA Ampere (A100)، حققت الخوارزمية حوالي ~70% من ذروة الأداء النظري. ولكن على المعمارية الأحدث NVIDIA Hopper (H100)، كانت كفاءتها أقل بكثير — حوالي 35%. كان هذا بسبب أن الخوارزمية لم تستغل القدرات العتادية الجديدة لمعمارية Hopper، مما حفز على إنشاء FlashAttention-3.

القدرات العتادية الجديدة في وحدة معالجة الرسومات Hopper (H100)

قدمت معمارية NVIDIA Hopper عددًا من الميزات الجديدة التي تستغلها FlashAttention-3 لتحقيق أقصى أداء:

• WGMMA (Warpgroup Matrix Multiply-Accumulate): نوع جديد من التعليمات للأنوية الموترية (tensor cores)، ينفذ عمليات ضرب المصفوفات مع زيادة في الأداء تصل إلى ضعف ما تقدمه معمارية Ampere تقريبًا.
• TMA (Tensor Memory Accelerator): وحدة عتادية تسرع نقل البيانات بين الذاكرة العالمية (HBM) والذاكرة المشتركة (shared memory). تقوم TMA تلقائيًا بحساب العناوين، مما يخفف العبء عن أنوية الحوسبة.
• تنسيق FP8: دعم عتادي لتنسيق بيانات الفاصلة العائمة بحجم 8 بت، مما يضاعف الأداء النظري مقارنةً بـ FP16، ولكنه يحمل خطر فقدان الدقة بسبب النطاق الديناميكي المحدود.

الابتكارات التقنية في FlashAttention-3

تطبق الخوارزمية ثلاث طرق تحسين رئيسية، مصممة خصيصًا لمعمارية Hopper:

1. التنفيذ غير المتزامن وتخصيص الـ warps

تستخدم FlashAttention-3 مبدأ warp-specialization (تخصيص الـ warps)، حيث تتخصص مجموعات مختلفة من الخيوط (warps) في وحدة معالجة الرسومات بمهام مختلفة:

• Warps المُنتِجة (Producer warps): تقوم بتحميل البيانات من الذاكرة العالمية باستخدام TMA.
• Warps المُستهلِكة (Consumer warps): تنفذ عمليات ضرب المصفوفات على الأنوية الموترية.

بفضل الطبيعة غير المتزامنة لعتاد Hopper، فإن هذه العمليات تتداخل زمنيًا. بينما تقوم مجموعة من الـ warps بتنفيذ الحسابات، تقوم مجموعة أخرى بالتوازي بتحميل البيانات للكتلة التالية. هذا النهج التتابعي (pipeline)، المنظم وفقًا لمبدأ "الجدولة المتناوبة" (ping-pong scheduling)، يسمح بإخفاء التأخير الناتج عن العمليات البطيئة (مثل Softmax) وتحميل جميع الوحدات الوظيفية في GPU إلى أقصى حد ممكن.

2. تقليل عمليات الذاكرة

تحافظ الخوارزمية على فكرة المعالجة بالكتل (tiling) من الإصدارات السابقة، ولكنها تستخدم TMA بشكل مكثف لتحميل كتل البيانات التالية بشكل غير متزامن وبالتوازي مع الحسابات الحالية. يتم نقل البيانات من الذاكرة البطيئة HBM إلى الذاكرة السريعة SRAM فعليًا "في ظل" الحسابات الرئيسية، مما يقلل من فترة خمول GPU أثناء انتظار البيانات.

3. الدقة المنخفضة (FP8) مع تقليل خطأ التكميم

الانتقال إلى FP8 يضاعف السرعة، ولكنه قد يؤدي إلى فقدان كبير في الدقة بسبب التكميم (quantization). لمواجهة هذا، طبق المطورون طريقة المعالجة غير المترابطة (incoherent processing). يكمن جوهر هذه الطريقة في ما يلي:

1. قبل حساب الانتباه، تُضرب متجهات السمات (الاستعلامات Q والمفاتيح K) في مصفوفة متعامدة عشوائية (مثل مصفوفة هادامارد).
2. هذا التحويل "ينشر" القيم ذات المقادير الكبيرة بشكل غير طبيعي (القيم الشاذة) عبر جميع الإحداثيات، مما يجعل توزيعها أكثر تجانسًا.
3. بعد ذلك، يتم إجراء التكميم إلى FP8، والذي يحدث الآن بخطأ أقل.
4. بما أن التحويل متعامد، فإنه لا يشوه النتيجة النهائية للانتباه (QKᵀ)، لأن تأثير المصفوفة يلغى عند عملية الضرب.

سمحت هذه التقنية بتقليل خطأ حساب الانتباه في FP8 بحوالي 2.6 مرة مقارنة بالتطبيق القياسي لـ FP8 بدون تحويلات.

الأداء والأهمية

أتاح تطبيق التقنيات المذكورة لـ FlashAttention-3 تحقيق تفوق كبير على الإصدارات السابقة على وحدة معالجة الرسومات H100:

• تسريع بمقدار 1.5–2 مرة مقارنة بـ FlashAttention-2.
• استغلال عالي لوحدة معالجة الرسومات: يصل إلى ~75–85% من الحد الأقصى النظري لأداء H100.
• معدل النقل:
  • ما يصل إلى 740–840 TFLOPS للدقة النصفية (FP16/BF16).
  • ما يصل إلى 1.2–1.3 PFLOPS (بيتافلوبس) عند استخدام دقة 8 بت (FP8).

تؤثر الكفاءة العالية لـ FlashAttention-3 بشكل مباشر على تطوير وتطبيق نماذج اللغة الكبيرة:

• تقليل وقت التدريب: تسريع آلية الانتباه بنسبة 75–100% يقلل بشكل كبير من وقت تدريب النماذج، الذي قد يستغرق أسابيع أو أشهر.
• زيادة نافذة السياق: يمكن للنماذج معالجة تسلسلات أطول بكفاءة (مئات الآلاف من التوكنات)، وهو أمر مهم لتحليل المستندات الكبيرة أو الشيفرات البرمجية.
• الاستخدام الرشيد للموارد: يسمح بتحقيق نفس الأداء بعدد أقل من وحدات معالجة الرسومات أو الحصول على سرعة أكبر بنفس العتاد، مما يقلل من تكلفة نشر النماذج.

التوافر والتكامل

نشر المؤلفون الشيفرة المصدرية لـ FlashAttention-3 بموجب ترخيص مفتوح المصدر على GitHub. من المتوقع دمجها في أطر العمل الرائدة للتعلم العميق، مثل PyTorch ومكتبات Hugging Face Transformers، مما سيجعل التقنية متاحة لمجموعة واسعة من المطورين والباحثين. أصبحت الإصدارات السابقة بالفعل معيارًا واقعيًا (de-facto standard) في الصناعة، ومن المرجح أن يواصل FlashAttention-3 هذا الاتجاه.

روابط

• مستودع FlashAttention الرسمي على GitHub
• مدونة Together AI مع إعلان FlashAttention-3

المراجع

• Shah, J. et al. (2024). FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision. arXiv:2407.08608.
• Dao, T. (2023). FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. arXiv:2307.08691.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv:2205.14135.
• Kwon, W. et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. arXiv:2309.06180.
• Ye, Z. et al. (2025). FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving. arXiv:2501.01005.
• Chen, Y. et al. (2023). FlashDecoding++: Faster Large Language Model Inference on GPUs. arXiv:2311.01282.
• Liu, Y. et al. (2024). FastAttention: Extending FlashAttention-2 to NPUs and Low-Resource GPUs. OpenReview: 76NYyOrnfk.
• Dege, P. et al. (2025). FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs. arXiv:2506.01969.
• Wang, G. et al. (2024). FlashMask: Efficient and Rich Mask Extension of FlashAttention. arXiv:2410.01359.
• Abbott, V.; Zardini, G. (2025). FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness. arXiv:2412.03317.