FlashAttention-3 (FR)

FlashAttention-3 est un algorithme d'optimisation du mécanisme d'attention (attention) dans les réseaux de neurones de type transformeur, conçu pour exploiter au maximum les capacités matérielles de l'architecture GPU NVIDIA Hopper (H100). L'algorithme a été présenté en 2024 par un groupe de chercheurs de Colfax Research, Meta, NVIDIA, Georgia Tech, de l'Université de Princeton et de Together AI. Le travail a été accepté à la conférence NeurIPS 2024 et désigné comme spotlight.

FlashAttention-3 est la troisième itération de la famille d'algorithmes, succédant à FlashAttention (2022) et FlashAttention-2 (2023). Son objectif principal est d'accélérer de manière significative l'entraînement et l'inférence des grands modèles de langage (LLM), tout en préservant la précision des calculs.

Introduction et contexte

Le problème du mécanisme d'attention

Le composant clé des transformeurs est le mécanisme d'auto-attention (self-attention), cependant sa complexité de calcul et sa consommation de mémoire augmentent de manière quadratique (O(n²)) avec la longueur de la séquence d'entrée (n). Cela crée un sérieux « goulot d'étranglement », car les GPU modernes sont optimisés pour des multiplications matricielles rapides, mais le calcul de fonctions exponentielles (par exemple, dans Softmax) est des ordres de grandeur plus lent. De plus, dans une implémentation naïve, un grand tenseur d'attention intermédiaire doit être stocké dans la mémoire du GPU, ce qui limite la scalabilité des modèles.

FlashAttention et FlashAttention-2

Pour résoudre ce problème, FlashAttention a été proposé en 2022, qui a réduit le volume d'accès à la mémoire globale lente (HBM) grâce à deux techniques :

• Traitement par blocs (tiling) : Les calculs sont divisés en blocs (tiles) qui sont traités dans la mémoire rapide sur puce (SRAM).
• Fusion d'opérations : Toutes les opérations (multiplication matricielle, Softmax) sont exécutées dans un seul noyau GPU sans écrire les résultats intermédiaires dans la mémoire globale.

Cela a permis de réduire la complexité mémoire de quadratique à linéaire et d'accélérer les calculs de 2 à 4 fois.

En 2023, une version améliorée a été présentée — FlashAttention-2, qui a optimisé la parallélisation des calculs. Sur les GPU d'architecture NVIDIA Ampere (A100), elle a atteint ~70 % de la performance théorique de pointe. Cependant, sur l'architecture plus récente NVIDIA Hopper (H100), son efficacité était bien inférieure — environ 35 %. Cela était dû au fait que l'algorithme n'exploitait pas les nouvelles capacités matérielles de Hopper, ce qui a motivé la création de FlashAttention-3.

Nouvelles capacités matérielles des GPU Hopper (H100)

L'architecture NVIDIA Hopper a introduit plusieurs nouvelles fonctionnalités que FlashAttention-3 exploite pour atteindre des performances maximales :

• WGMMA (Warpgroup Matrix Multiply-Accumulate) : Un nouveau type d'instructions pour les cœurs tensoriels, réalisant des multiplications matricielles avec un gain de performance de près de deux fois par rapport à l'architecture Ampere.
• TMA (Tensor Memory Accelerator) : Un module matériel qui accélère le transfert de données entre la mémoire globale (HBM) et la mémoire partagée (shared memory). Le TMA effectue automatiquement les calculs d'adresse, déchargeant ainsi les cœurs de calcul.
• Format FP8 : Un support matériel pour le format de données en virgule flottante 8 bits, qui double la performance théorique par rapport au FP16, mais comporte un risque de perte de précision en raison de sa plage dynamique limitée.

Innovations techniques de FlashAttention-3

L'algorithme met en œuvre trois méthodes d'optimisation clés, spécialement conçues pour l'architecture Hopper :

1. Exécution asynchrone et spécialisation des warps

FlashAttention-3 utilise le principe de warp-specialization, selon lequel différents groupes de threads (warps) sur le GPU se spécialisent dans des tâches distinctes :

• Warps producteurs (Producer warps) : Chargent les données depuis la mémoire globale à l'aide du TMA.
• Warps consommateurs (Consumer warps) : Effectuent les multiplications matricielles sur les cœurs tensoriels.

Grâce à l'asynchronisme matériel de Hopper, ces opérations se chevauchent dans le temps. Pendant qu'un groupe de warps effectue des calculs, un autre charge en parallèle les données pour le bloc suivant. Cette approche en pipeline (pipeline), organisée selon le principe du « ping-pong » (ping-pong scheduling), permet de masquer la latence des opérations lentes (comme Softmax) et d'utiliser au maximum tous les modules fonctionnels du GPU.

2. Minimisation des opérations mémoire

L'algorithme conserve l'idéologie du tiling des versions précédentes, mais utilise activement le TMA pour charger de manière asynchrone les blocs de données suivants en parallèle avec les calculs en cours. Le transfert de données de la HBM lente vers la SRAM rapide est effectué « en arrière-plan » des calculs principaux, ce qui réduit le temps d'inactivité du GPU en attente de données.

3. Basse précision (FP8) avec réduction de l'erreur de quantification

Le passage au FP8 double la vitesse, mais peut entraîner une perte de précision significative due à la quantification. Pour contrer cela, les développeurs ont mis en œuvre la méthode de traitement incohérent (incoherent processing). Son principe est le suivant :

1. Avant le calcul de l'attention, les vecteurs de caractéristiques (requêtes Q et clés K) sont multipliés par une matrice orthogonale aléatoire (par exemple, une matrice de Hadamard).
2. Cette transformation « étale » les valeurs de magnitude anormalement grande (valeurs aberrantes) sur toutes les coordonnées, uniformisant ainsi leur distribution.
3. Ensuite, la quantification en FP8 est effectuée, ce qui se produit avec une erreur réduite.
4. Comme la transformation est orthogonale, elle ne déforme pas le résultat final de l'attention (QKᵀ), car l'effet de la matrice est annulé lors de la multiplication.

Cette technique a permis de réduire l'erreur de calcul de l'attention en FP8 d'environ 2,6 fois par rapport à une utilisation standard du FP8 sans cette transformation.

Performances et importance

L'application des techniques énumérées a permis à FlashAttention-3 d'atteindre une supériorité significative sur les versions précédentes sur les GPU H100 :

• Accélération de 1,5 à 2 fois par rapport à FlashAttention-2.
• Utilisation élevée du GPU : Atteint ~75–85 % du maximum théorique des performances du H100.
• Débit (Throughput) :
  • Jusqu'à 740–840 TFLOPS en demi-précision (FP16/BF16).
  • Jusqu'à 1,2–1,3 PFLOPS (pétaflops) en précision 8 bits (FP8).

La haute efficacité de FlashAttention-3 a un impact direct sur le développement et l'application des LLM :

• Réduction du temps d'entraînement : Une accélération de l'attention de 75 à 100 % réduit considérablement le temps d'entraînement des modèles, qui peut prendre des semaines voire des mois.
• Augmentation de la fenêtre de contexte : Les modèles peuvent traiter efficacement des séquences plus longues (des centaines de milliers de jetons), ce qui est crucial pour l'analyse de grands documents ou de code.
• Utilisation rationnelle des ressources : Permet d'atteindre les mêmes performances avec moins de GPU ou d'obtenir une vitesse plus élevée sur le même matériel, ce qui réduit le coût de déploiement des modèles.

Disponibilité et intégration

Les auteurs ont publié le code source de FlashAttention-3 sous une licence open source sur GitHub. Son intégration est attendue dans les principaux frameworks d'apprentissage profond, tels que PyTorch et les bibliothèques Hugging Face Transformers, ce qui rendra la technologie accessible à un large éventail de développeurs et de chercheurs. Les versions précédentes sont déjà devenues un standard de facto dans l'industrie, et FlashAttention-3 devrait poursuivre cette tendance.

Liens

• Dépôt officiel de FlashAttention sur GitHub
• Article de blog de Together AI annonçant FlashAttention-3

Bibliographie

• Shah, J. et al. (2024). FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision. arXiv:2407.08608.
• Dao, T. (2023). FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. arXiv:2307.08691.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv:2205.14135.
• Kwon, W. et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. arXiv:2309.06180.
• Ye, Z. et al. (2025). FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving. arXiv:2501.01005.
• Chen, Y. et al. (2023). FlashDecoding++: Faster Large Language Model Inference on GPUs. arXiv:2311.01282.
• Liu, Y. et al. (2024). FastAttention: Extending FlashAttention-2 to NPUs and Low-Resource GPUs. OpenReview: 76NYyOrnfk.
• Dege, P. et al. (2025). FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs. arXiv:2506.01969.
• Wang, G. et al. (2024). FlashMask: Efficient and Rich Mask Extension of FlashAttention. arXiv:2410.01359.
• Abbott, V.; Zardini, G. (2025). FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness. arXiv:2412.03317.