FlashAttention-3 (DE)

FlashAttention-3 ist ein Algorithmus zur Optimierung des Aufmerksamkeitsmechanismus (Attention) in Transformer-Netzwerken, der entwickelt wurde, um die Hardwarefähigkeiten der GPU-Architektur NVIDIA Hopper (H100) maximal auszunutzen. Der Algorithmus wurde 2024 von einer Gruppe von Forschern der Unternehmen Colfax Research, Meta, NVIDIA, Georgia Tech, der Princeton University und Together AI vorgestellt. Die Arbeit wurde für die Konferenz NeurIPS 2024 angenommen und als spotlight ausgezeichnet.

FlashAttention-3 ist die dritte Iteration in einer Familie von Algorithmen und folgt auf FlashAttention (2022) und FlashAttention-2 (2023). Sein Hauptziel ist es, das Training und die Inferenz von großen Sprachmodellen (LLMs) signifikant zu beschleunigen und dabei die Rechengenauigkeit beizubehalten.

Einleitung und Hintergrund

Das Problem des Aufmerksamkeitsmechanismus

Die Schlüsselkomponente von Transformern ist der Self-Attention-Mechanismus, dessen Rechenkomplexität und Speicherverbrauch jedoch mit der Länge der Eingabesequenz (n) quadratisch (O(n²)) ansteigen. Dies stellt einen ernsthaften Engpass dar, da moderne GPUs für schnelle Matrixmultiplikationen optimiert sind, die Berechnung exponentieller Funktionen (z. B. in Softmax) jedoch um Größenordnungen langsamer ist. Darüber hinaus muss bei einer naiven Implementierung ein großer zwischenzeitlicher Attention-Tensor im GPU-Speicher gehalten werden, was die Skalierbarkeit der Modelle einschränkt.

FlashAttention und FlashAttention-2

Um dieses Problem zu lösen, wurde 2022 FlashAttention vorgestellt, das die Anzahl der Zugriffe auf den langsamen globalen Speicher (HBM) durch zwei Techniken reduzierte:

• Blockweise Verarbeitung (Tiling): Die Berechnungen werden in Blöcke (Tiles) aufgeteilt, die im schnellen On-Chip-Speicher (SRAM) verarbeitet werden.
• Verschmelzung von Operationen (Kernel Fusion): Alle Operationen (Matrixmultiplikation, Softmax) werden in einem einzigen GPU-Kernel ausgeführt, ohne Zwischenergebnisse in den globalen Speicher zu schreiben.

Dies ermöglichte es, die Speicherkomplexität von quadratisch auf linear zu reduzieren und die Berechnungen um das 2- bis 4-fache zu beschleunigen.

Im Jahr 2023 wurde eine verbesserte Version vorgestellt – FlashAttention-2, die die Parallelisierung der Berechnungen optimierte. Auf GPUs der NVIDIA Ampere-Architektur (A100) erreichte sie ~70 % der theoretischen Spitzenleistung. Auf der neueren NVIDIA Hopper-Architektur (H100) war ihre Effizienz jedoch deutlich geringer – etwa 35 %. Dies lag daran, dass der Algorithmus die neuen Hardwarefähigkeiten von Hopper nicht nutzte, was den Anstoß zur Entwicklung von FlashAttention-3 gab.

Neue Hardwarefähigkeiten der Hopper-GPU (H100)

Die NVIDIA-Hopper-Architektur bietet eine Reihe neuer Funktionen, die FlashAttention-3 nutzt, um maximale Leistung zu erzielen:

• WGMMA (Warpgroup Matrix Multiply-Accumulate): Ein neuer Befehlstyp für Tensor Cores, der Matrixmultiplikationen mit einer fast zweifachen Leistungssteigerung im Vergleich zur Ampere-Architektur durchführt.
• TMA (Tensor Memory Accelerator): Ein Hardwaremodul, das die Datenübertragung zwischen dem globalen (HBM) und dem gemeinsamen (Shared Memory) Speicher beschleunigt. TMA führt Adressberechnungen automatisch durch und entlastet so die Rechenkerne.
• FP8-Format: Hardwareseitige Unterstützung für das 8-Bit-Gleitkomma-Datenformat, das die theoretische Leistung im Vergleich zu FP16 verdoppelt, aber das Risiko eines Genauigkeitsverlusts aufgrund des begrenzten Dynamikbereichs birgt.

Technische Innovationen von FlashAttention-3

Der Algorithmus implementiert drei zentrale Optimierungsmethoden, die speziell für die Hopper-Architektur entwickelt wurden:

1. Asynchrone Ausführung und Warp-Spezialisierung

FlashAttention-3 nutzt das Prinzip der Warp-Spezialisierung, bei dem sich verschiedene Gruppen von Threads (Warps) auf der GPU auf unterschiedliche Aufgaben spezialisieren:

• Producer-Warps: Laden Daten mithilfe von TMA aus dem globalen Speicher.
• Consumer-Warps: Führen Matrixmultiplikationen auf den Tensor Cores aus.

Dank der hardwareseitigen Asynchronität von Hopper überlappen sich diese Operationen zeitlich. Während eine Gruppe von Warps Berechnungen durchführt, lädt eine andere parallel die Daten für den nächsten Block. Dieser Pipeline-Ansatz, organisiert nach dem Prinzip des „Ping-Pong-Schedulings“, ermöglicht es, Latenzen von langsamen Operationen (z. B. Softmax) zu verbergen und alle funktionalen Module der GPU maximal auszulasten.

2. Minimierung von Speicheroperationen

Der Algorithmus behält die Tiling-Ideologie aus früheren Versionen bei, nutzt aber aktiv TMA, um die nächsten Datenblöcke parallel zu den laufenden Berechnungen asynchron zu laden. Die Datenübertragung vom langsamen HBM in den schnellen SRAM erfolgt praktisch „im Schatten“ der Hauptberechnungen, wodurch die GPU weniger Zeit mit dem Warten auf Daten verbringt.

3. Niedrige Präzision (FP8) mit reduziertem Quantisierungsfehler

Der Wechsel zu FP8 verdoppelt die Geschwindigkeit, kann aber aufgrund der Quantisierung zu einem erheblichen Genauigkeitsverlust führen. Um dem entgegenzuwirken, implementierten die Entwickler die Methode des incoherent processing. Ihre Funktionsweise ist wie folgt:

1. Vor der Attention-Berechnung werden die Merkmalsvektoren (Queries Q und Keys K) mit einer zufälligen orthogonalen Matrix (z. B. einer Hadamard-Matrix) multipliziert.
2. Diese Transformation „verschmiert“ Werte mit anomal großen Beträgen (Ausreißer) über alle Koordinaten und gleicht ihre Verteilung aus.
3. Anschließend erfolgt die Quantisierung in FP8, die nun mit einem geringeren Fehler behaftet ist.
4. Da die Transformation orthogonal ist, verzerrt sie das Endergebnis der Attention (QKᵀ) nicht, da sich der Effekt der Matrix bei der Multiplikation aufhebt.

Diese Technik ermöglichte es, den Fehler bei der Attention-Berechnung in FP8 im Vergleich zur Standardanwendung von FP8 ohne Transformationen um etwa das 2,6-fache zu reduzieren.

Leistung und Bedeutung

Durch die Anwendung der genannten Techniken konnte FlashAttention-3 auf der H100-GPU eine erhebliche Überlegenheit gegenüber früheren Versionen erzielen:

• 1,5- bis 2-fache Beschleunigung im Vergleich zu FlashAttention-2.
• Hohe GPU-Auslastung: Erreicht ~75–85 % des theoretischen Leistungsmaximums der H100.
• Durchsatz:
  • Bis zu 740–840 TFLOPS bei halber Genauigkeit (FP16/BF16).
  • Bis zu 1,2–1,3 PFLOPS (Petaflops) bei Verwendung von 8-Bit-Genauigkeit (FP8).

Die hohe Effizienz von FlashAttention-3 wirkt sich direkt auf die Entwicklung und Anwendung von LLMs aus:

• Reduzierte Trainingszeit: Eine Beschleunigung der Attention um 75–100 % verkürzt die Trainingszeit von Modellen, die Wochen oder Monate dauern kann, erheblich.
• Vergrößerung des Kontextfensters: Modelle können längere Sequenzen (Hunderttausende von Token) effizient verarbeiten, was für die Analyse großer Dokumente oder Codes wichtig ist.
• Effiziente Ressourcennutzung: Ermöglicht es, die gleiche Leistung mit weniger GPUs zu erzielen oder eine höhere Geschwindigkeit auf derselben Hardware zu erreichen, was die Kosten für den Einsatz von Modellen senkt.

Verfügbarkeit und Integration

Die Autoren haben den Quellcode von FlashAttention-3 unter einer Open-Source-Lizenz auf GitHub veröffentlicht. Es wird erwartet, dass er in führende Deep-Learning-Frameworks wie PyTorch und die Hugging Face Transformers-Bibliotheken integriert wird, wodurch die Technologie einem breiten Kreis von Entwicklern und Forschern zugänglich gemacht wird. Frühere Versionen sind bereits zum De-facto-Standard in der Branche geworden, und FlashAttention-3 wird diesen Trend wahrscheinlich fortsetzen.

Weblinks

• Offizielles FlashAttention-Repository auf GitHub
• Blogbeitrag von Together AI zur Ankündigung von FlashAttention-3

Literatur

• Shah, J. et al. (2024). FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision. arXiv:2407.08608.
• Dao, T. (2023). FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. arXiv:2307.08691.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv:2205.14135.
• Kwon, W. et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. arXiv:2309.06180.
• Ye, Z. et al. (2025). FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving. arXiv:2501.01005.
• Chen, Y. et al. (2023). FlashDecoding++: Faster Large Language Model Inference on GPUs. arXiv:2311.01282.
• Liu, Y. et al. (2024). FastAttention: Extending FlashAttention-2 to NPUs and Low-Resource GPUs. OpenReview: 76NYyOrnfk.
• Dege, P. et al. (2025). FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs. arXiv:2506.01969.
• Wang, G. et al. (2024). FlashMask: Efficient and Rich Mask Extension of FlashAttention. arXiv:2410.01359.
• Abbott, V.; Zardini, G. (2025). FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness. arXiv:2412.03317.