FlashAttention — فلاش أتنشن

FlashAttention هي خوارزمية ثورية لحساب آلية الانتباه (attention)، تم تصميمها لتسريع تدريب واستدلال نماذج اللغة الكبيرة (LLM) بشكل كبير مع الحفاظ على الدقة الحسابية الكاملة. قُدِّمت الخوارزمية لأول مرة في عام 2022 من قبل فريق من الباحثين في جامعة ستانفورد بقيادة تري داو (Tri Dao).

تكمن الفكرة الرئيسية لـ FlashAttention في إعادة تنظيم الحسابات مع مراعاة هرمية ذاكرة وحدة معالجة الرسوميات (GPU)، مما يسمح بتقليل عدد مرات الوصول إلى الذاكرة البطيئة وإزالة عنق الزجاجة الرئيسي في آلية الانتباه المعيارية.

إشكالية آلية الانتباه المعيارية

تُحسب آلية الانتباه الذاتي المعيارية في المحولات (Transformers) باستخدام الصيغة التالية: $\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$ حيث Q و K و V هي مصفوفات الاستعلامات والمفاتيح والقيم.

المشكلة الرئيسية في هذه المقاربة هي التعقيد التربيعي من حيث الزمن والذاكرة (O(N²)) بالنسبة لطول التسلسل N. في التنفيذ البسيط، من الضروري حساب وتخزين مصفوفة الانتباه الكاملة S بحجم N×N في ذاكرة GPU، مما يؤدي إلى مشكلتين حرجتين:

1. استهلاك كبير للذاكرة: يصبح تخزين مصفوفة بحجم N×N مستحيلاً عند التعامل مع سياقات طويلة.
2. عمليات الإدخال والإخراج (IO): لا يكمن عنق الزجاجة الرئيسي في عدد العمليات الحسابية، بل في الوصول المستمر إلى ذاكرة GPU البطيئة.

هرمية ذاكرة وحدة معالجة الرسوميات (GPU)

لفهم المشكلة، من المهم التمييز بين نوعين من الذاكرة في وحدة معالجة الرسوميات (على سبيل المثال، NVIDIA A100):

• SRAM (الذاكرة الثابتة): ذاكرة سريعة على الشريحة بحجم صغير (~20 MB) ونطاق ترددي هائل (يصل إلى 19 TB/s).
• HBM (ذاكرة ذات نطاق ترددي عالٍ): ذاكرة بطيئة بحجم كبير (40–80 GB) ونطاق ترددي أقل بكثير (حوالي 1.5 TB/s).

هذا التباين يجعل خوارزمية الانتباه المعيارية مقيدة بالنطاق الترددي للذاكرة (memory-bound)، لأنها تقرأ وتكتب باستمرار مصفوفات كبيرة من ذاكرة HBM البطيئة، وهو المصدر الرئيسي للتأخير.

الابتكارات الرئيسية في FlashAttention

FlashAttention هي خوارزمية واعية بعمليات الإدخال والإخراج (IO-aware)، تحل المشكلة عن طريق تقليل الوصول إلى ذاكرة HBM. يتم تحقيق ذلك من خلال ثلاث تقنيات رئيسية.

التجزئة (Tiling) والمعالجة بالكتل

بدلاً من معالجة المصفوفة بأكملها دفعة واحدة، تقوم FlashAttention بتقسيم مصفوفات الإدخال Q و K و V إلى كتل صغيرة (tiles) يمكن استيعابها في ذاكرة SRAM السريعة. تقوم الخوارزمية بتحميل هذه الكتل بشكل تسلسلي، وتنفيذ جميع حسابات الانتباه لها، وتحديث النتيجة النهائية، دون تخزين مصفوفة الانتباه الكاملة في ذاكرة HBM البطيئة.

حساب Softmax الآني (Online)

كان التقدم التقني الرئيسي هو الحساب "الآني" لـ Softmax. تتطلب دالة Softmax المعيارية معرفة جميع عناصر متجه الإدخال لتوحيدها. تستخدم FlashAttention خوارزمية معدلة تسمح بحساب Softmax على أجزاء. تحتفظ الخوارزمية بقيمتين وسيطتين (الحد الأقصى الحالي ومجموع الأُسس)، ويتم تحديثهما مع معالجة كل كتلة جديدة، مما يسمح بالحصول على نتيجة دقيقة دون الحاجة إلى الوصول إلى المصفوفة بأكملها دفعة واحدة.

دمج العمليات في نواة CUDA واحدة

جميع عمليات الانتباه (ضرب المصفوفات QKᵀ، والإخفاء (masking)، و Softmax، والضرب في V) مدمجة في نواة CUDA مدمجة واحدة (fused kernel). هذا يقلل بشكل جذري من عدد عمليات القراءة/الكتابة إلى HBM: فبدلاً من المرور على المصفوفة بأكملها عدة مرات، تقوم الخوارزمية بتحميل الكتلة إلى SRAM مرة واحدة، وتنفذ جميع الحسابات، وتكتب النتيجة النهائية فقط.

الكفاءة النظرية والعملية

التعقيد والمثالية

تخفض FlashAttention استهلاك الذاكرة من O(N²) إلى O(N)، مما يضمن قابلية التوسع الخطية. لقد أُثبت أن تعقيد عمليات الإدخال والإخراج للخوارزمية مثالي نظريًا لحساب الانتباه في هرمية ذاكرة ثنائية المستوى، مما يعني أنه من المستحيل تنفيذ الانتباه الدقيق بشكل أسرع دون تغيير العتاد.

النتائج التجريبية

أظهرت النسخة الأولى من FlashAttention تحسينات كبيرة:

• التسريع:
  • BERT-large (طول التسلسل 512): تسريع التدريب بنسبة 15%.
  • GPT-2 (طول التسلسل 1K): تسريع بمقدار 3 أضعاف.
  • مهام Long-Range Arena (1K-4K): تسريع بمقدار 2.4 ضعف.
• توفير الذاكرة: توفير في الذاكرة يصل إلى 20 ضعفًا مقارنة بالتنفيذات الأساسية الدقيقة.
• تحسين جودة النماذج: بفضل القدرة على التعامل مع سياقات أطول، لا تحافظ FlashAttention على جودة النماذج فحسب، بل تحسنها أيضًا. على سبيل المثال، تحسنت الحيرة (perplexity) لنموذج GPT-2 بمقدار 0.7 نقطة، وزادت الدقة في مهام تصنيف المستندات الطويلة بمقدار 6.4 نقطة.

التطور والتطويرات اللاحقة

أدى نجاح FlashAttention إلى إطلاق سلسلة كاملة من الخوارزميات الموجهة للعتاد.

FlashAttention-2 (2023) - فلاش أتنشن 2 (2023)

استهدفت النسخة الثانية استغلال موارد GPU بشكل أكمل. في FlashAttention الأصلية، كانت الكفاءة على NVIDIA A100 تتراوح بين 25-40% فقط من الحد الأقصى. أدخلت FlashAttention-2 تحسينات في موازاة الحسابات، مما سمح بما يلي:

• تحقيق تسريع بمقدار ضعفين مقارنة بالنسخة الأولى.
• زيادة استغلال GPU إلى 50-73% من الحد الأقصى النظري.
• توسيع الدعم ليشمل رؤوس انتباه بحجم 256، بالإضافة إلى معماريات Multi-Query Attention (MQA).

FlashAttention-3 (2024) - فلاش أتنشن 3 (2024)

تم تحسين النسخة الثالثة خصيصًا لمعمارية GPU NVIDIA Hopper (H100). تستفيد من الإمكانيات الجديدة للعتاد، مثل عدم التزامن في Tensor Cores ودعم FP8، مما سمح بما يلي:

• تحقيق تسريع إضافي بمقدار 1.5-2 ضعف مقارنة بـ FlashAttention-2.
• الوصول إلى أداء يصل إلى 740 TFLOPS على FP16 وما يقارب 1.2 PFLOPS على FP8.

حلول متخصصة

تم تطوير أفكار FlashAttention في مشاريع أخرى:

• FlashInfer (2025): محرك انتباه قابل للتخصيص، مُحسَّن خصيصًا لمهام استدلال نماذج اللغة الكبيرة. يركز على التعامل الفعال مع ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-cache) في وضع التوليد المتدفق.
• FlashMLA (2024): تطبيق لآلية الانتباه مع ضغط ذاكرة التخزين المؤقت للسياق (latent attention)، مما يسمح بتوفير الذاكرة في التسلسلات الطويلة جدًا مع فقدان ضئيل للمعلومات.

التأثير على الصناعة والنظام البيئي

أصبحت FlashAttention إنجازًا أساسيًا وسرعان ما تحولت إلى معيار صناعي للتدريب والاستدلال الفعال لنماذج اللغة الكبيرة. تم دمجها في المكتبات الرئيسية مثل PyTorch و Hugging Face، وتُستخدم في معظم نماذج اللغة الكبيرة الرئيسية (LLaMA، MPT، Falcon، Claude وغيرها).

لعبت FlashAttention وإصداراتها اللاحقة دورًا حاسمًا في زيادة نوافذ السياق لنماذج اللغة: من 2-4 آلاف توكن (GPT-3) إلى 128 ألف توكن (GPT-4)، وحتى ملايين التوكنات في النماذج التجريبية. أزالت الخوارزمية إحدى العقبات الرئيسية أمام توسيع نطاق المحولات، مما فتح إمكانيات جديدة لتطبيقات الذكاء الاصطناعي، من تحليل المستندات الطويلة إلى الفهم متعدد الوسائط.

روابط خارجية

• المستودع الرسمي لـ FlashAttention على GitHub

المراجع

• Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv:2205.14135.
• Dao, T. (2023). FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. arXiv:2307.08691.
• Shah, J. et al. (2024). FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-Precision. arXiv:2407.08608.
• Kwon, W. et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. arXiv:2309.06180.
• Hong, K. et al. (2023). FlashDecoding++: Faster Large Language Model Inference on GPUs. arXiv:2311.01282.
• Ye, Z. et al. (2025). FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving. arXiv:2501.01005.
• Dege, P. et al. (2025). FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs. arXiv:2506.01969.
• Wang, G. et al. (2025). FlashMask: Efficient and Rich Mask Extension of FlashAttention. OpenReview wUtXB43Chi.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (OpenReview version). OpenReview H4DqfPSibmx.
• Gholami, A. et al. (2024). FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness. OpenReview pF2ukh7HxA.