Huawei PanGu (DE)
Huawei PanGu (chin. 盘古) ist eine Familie von extrem großen, vortrainierten KI-Modellen (Foundation Models), die von Huawei Cloud entwickelt wurden. Der Name „PanGu“ bezieht sich auf Pangu, das mythologische Urwesen der chinesischen Kultur, das die Welt erschuf[1]. Die PanGu-Familie deckt verschiedene Bereiche ab, darunter die Verarbeitung natürlicher Sprache (NLP), Computer Vision (CV), multimodale Analyse, prädiktive Modellierung und wissenschaftliches Rechnen.
Geschichte und Entwicklung
PanGu-α (2021)
Das erste Modell der Familie, PanGu-α (PanGu-Alpha), wurde im April 2021 vorgestellt. Mit 200 Milliarden Parametern war es zu diesem Zeitpunkt das größte Sprachmodell für die chinesische Sprache und übertraf damit GPT-3 (175 Mrd.) von OpenAI an Größe[2].
Das Modell wurde vom Team von Huawei Cloud in Zusammenarbeit mit dem Labor Noah's Ark entwickelt und auf einem Cluster aus 2048 spezialisierten Huawei Ascend 910-Prozessoren unter Verwendung des MindSpore-Frameworks trainiert[3]. Der Trainingsdatensatz umfasste 1,1 TB hochwertiger chinesischer Textdaten. PanGu-α zeigte hervorragende Ergebnisse im CLUE-Benchmark (Chinese Language Understanding Evaluation) und belegte den ersten Platz in der Gesamtwertung[1].
PanGu 3.0 (2023): Ein plattformbasierter Ansatz
Im Juli 2023 stellte Huawei die Plattform PanGu 3.0 vor, die den Übergang von einem einzelnen Modell zu einer mehrschichtigen „5+N+X“-Architektur markiert, die auf industrielle Anwendungen ausgerichtet ist[4].
- L0 (Basisschicht): Fünf grundlegende Modelle (NLP, CV, multimodal, prädiktiv und wissenschaftliches Rechnen).
- L1 (Branchenspezifische Schicht): N branchenspezifische Modelle, die auf Basis der grundlegenden Modelle für spezifische Industrien (öffentliche Verwaltung, Finanzen, Fertigung usw.) nachjustiert werden.
- L2 (Anwendungsspezifische Schicht): X Modelle für spezifische Anwendungsfälle (virtueller Assistent, Vorhersage von Taifun-Flugbahnen usw.).
Dieser hierarchische Ansatz ermöglicht es Kunden, entweder fertige Lösungen zu nutzen oder branchenspezifische Modelle mit ihren eigenen Daten nachzutrainieren, was die Anpassung erheblich vereinfacht und kostengünstiger macht.
PanGu 5.5 (2025): Mixture-of-Experts-Architektur
Im Juni 2025 kündigte Huawei ein Upgrade auf PanGu 5.5 an, das auf die tiefgreifende Lösung industrieller Probleme abzielt. Ein wesentliches Merkmal war die Mixture-of-Experts (MoE)-Architektur mit 256 Experten-Subnetzwerken, die es ermöglichte, die Gesamtanzahl der Parameter auf 718 Milliarden zu erhöhen[5]. Die MoE-Architektur ermöglicht die dynamische Aktivierung nur eines Teils des Modells für die Lösung einer bestimmten Aufgabe, was laut Huawei die Inferenz-Effizienz im Vergleich zu früheren Generationen um das Achtfache steigert[6].
Wichtige architektonische und technische Lösungen
Die PanGu-Modelle basieren auf einer GPT-ähnlichen Transformer-Architektur, jedoch mit einer Reihe von Innovationen für das Training extrem großer Modelle. Zur Steuerung des Generierungsprozesses wurde eine spezielle Query-Schicht (Query Layer) eingeführt, die dabei hilft, die gewünschte Ausgabe während der Vortrainingsphase zu induzieren[3].
Training und Betrieb der PanGu-Modelle sind eng in die eigene Hard- und Softwareplattform von Huawei integriert:
- Ascend 910-Prozessoren: Spezialisierte KI-Beschleuniger, die die Grundlage der Rechencluster bilden.
- MindSpore-Framework: Eine Open-Source-Plattform für Deep Learning, die eine auto-parallele Technologie unterstützt. Diese kombiniert fünf Arten von Parallelität (Daten-, Modell-, Pipeline-, Optimierer-Parallelität usw.), um die Berechnungen effizient auf Tausende von Knoten zu verteilen[3].
Spezialisierte Modelle und ihre Anwendungen
PanGu-Weather
Eines der bekanntesten Modelle der Familie ist PanGu-Weather – ein globales meteorologisches Modell, das auf Deep Learning basiert. Im Juli 2023 wurde ein Artikel darüber in der renommierten wissenschaftlichen Zeitschrift Nature veröffentlicht[7].
Das Modell zeigte die Fähigkeit, traditionelle numerische Wettervorhersagemethoden des Europäischen Zentrums für mittelfristige Wettervorhersage (ECMWF) in der Genauigkeit zu übertreffen, und das bei deutlich höherer Geschwindigkeit. Die Erstellung einer globalen 24-Stunden-Vorhersage dauert mit dem Modell nur wenige Sekunden anstelle mehrerer Stunden Supercomputer-Berechnungen, was einer Beschleunigung um das etwa 10.000-fache entspricht[7]. Im August 2023 wurden die Vorhersagen von PanGu-Weather in den Dienst des ECMWF integriert, um sie für praktische meteorologische Dienste zu nutzen[8].
Industrielle Anwendung
Die PanGu-Modelle werden in mehr als 500 Szenarien in 30 Wirtschaftszweigen eingesetzt. Einige Beispiele:
- Landwirtschaft: Die Chinesische Akademie der Agrarwissenschaften (CAAS) entwickelte mit Hilfe von PanGu ein Modell für die Züchtung, das es ermöglichte, eine experimentelle Reissorte mit verbesserter Standfestigkeit zu züchten[5].
- Öl- und Gasindustrie: CNPC nutzt das PanGu-Modell zur automatischen Erkennung von Pipeline-Defekten mit Submillimeter-Genauigkeit, was die Effizienz um ca. 40 % steigert[9].
- Öffentliche Verwaltung: In Shenzhen wurde der intelligente Assistent „Xiaofu“ entwickelt, der Bürgern Informationen über öffentliche Dienstleistungen auf der Grundlage eines Korpus von über 200.000 lokalen Dokumenten bereitstellt[4].
- Pharmakologie: Das Modell PanGu Drug Molecule wird zur Beschleunigung des Screenings von Wirkstoffkandidaten eingesetzt. Es wird berichtet, dass mit seiner Hilfe eine neue Klasse von Antibiotika entdeckt wurde, was den ersten Durchbruch in diesem Bereich seit 40 Jahren darstellt[4].
Open-Source-Veröffentlichung
Im Juni 2025 kündigte Huawei die Veröffentlichung des Quellcodes (Open Source) eines Teils der PanGu-Modellfamilie an. Folgende Modelle wurden öffentlich zugänglich gemacht[10]:
- PanGu Dense Model 7B (7 Mrd. Parameter).
- PanGu Pro MoE Model 72B (72 Mrd. Parameter).
Dieser Schritt zielt darauf ab, Innovationen zu fördern und ein offenes Ökosystem um die Hardwareplattform Huawei Ascend zu schaffen, was eine strategische Antwort auf den globalen Wettbewerb im Bereich der KI ist[10].
Literatur
- Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
- Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
- Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
- Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
- Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
- MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
- Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
- AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
- CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
- MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
- Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.
Anmerkungen
- ↑ 1.0 1.1 „HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business“. Huawei. [1]
- ↑ Wodecki, Ben (27 Apr 2021). „Huawei has created the world's largest Chinese language model“. AI Business. [2]
- ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). „PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models“. Technical Report. [3]
- ↑ 4.0 4.1 4.2 „Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services“. HUAWEI CLOUD. 7 Jul 2023. [4]
- ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). „What Huawei Pangu 5.5 Models Mean for Industrial AI“. Technology Magazine. [5]
- ↑ „How Huawei Pangu 5.5 AI Models Transform Industry Operations“. AI Magazine. [6]
- ↑ 7.0 7.1 „Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers“. Huawei News. 6 Jul 2023. [7]
- ↑ Bi, Kaifeng, et al. (2023). „Accurate medium-range global weather forecasting with 3D neural networks“. Nature. [8]
- ↑ „CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry“.
- ↑ 10.0 10.1 „Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters“. Albase News. 30 Jun 2025. [9]