Huawei PanGu (PT)

Huawei PanGu (chinês: 盘古) é uma família de modelos de inteligência artificial pré-treinados ultragrandes (foundation models), desenvolvidos pela Huawei Cloud. O nome "PanGu" refere-se a Pangu, uma entidade mitológica primordial na cultura chinesa que criou o mundo. A família PanGu abrange diversas áreas, incluindo processamento de linguagem natural (PLN), visão computacional (VC), análise multimodal, modelagem preditiva e computação científica.

História e desenvolvimento

PanGu-α (2021)

O primeiro modelo da família, PanGu-α (PanGu-Alpha), foi apresentado em abril de 2021. Com 200 bilhões de parâmetros, tornou-se na época o maior modelo de linguagem para o idioma chinês, superando em tamanho o GPT-3 (175 bilhões) da OpenAI.

O modelo foi desenvolvido pela equipe da Huawei Cloud em colaboração com o laboratório Noah's Ark e treinado em um cluster de 2048 processadores especializados Huawei Ascend 910 utilizando o framework MindSpore. O corpus de treinamento consistiu em 1,1 TB de dados textuais de alta qualidade em chinês. O PanGu-α demonstrou excelentes resultados no benchmark CLUE (Chinese Language Understanding Evaluation), alcançando o primeiro lugar no ranking geral.

PanGu 3.0 (2023): Uma abordagem de plataforma

Em julho de 2023, a Huawei apresentou a plataforma PanGu 3.0, marcando a transição de um único modelo para uma arquitetura multicamadas "5+N+X", voltada para aplicações industriais.

• L0 (Camada Base): Cinco modelos fundamentais (PLN, VC, multimodal, preditivo e de computação científica).
• L1 (Camada Setorial): N modelos setoriais, ajustados a partir dos modelos base para indústrias específicas (governo, finanças, manufatura, etc.).
• L2 (Camada de Cenários): X modelos para tarefas aplicadas específicas (assistente virtual, previsão da trajetória de tufões, etc.).

Essa abordagem hierárquica permite que os clientes utilizem soluções prontas ou ajustem os modelos setoriais com seus próprios dados, o que simplifica e barateia significativamente a adaptação.

PanGu 5.5 (2025): Arquitetura Mixture-of-Experts

Em junho de 2025, a Huawei anunciou a atualização para o PanGu 5.5, focada em resolver problemas industriais complexos. A principal característica foi a arquitetura de mistura de especialistas (MoE) com 256 sub-redes de especialistas, o que permitiu aumentar o número total de parâmetros para 718 bilhões. A arquitetura MoE permite ativar dinamicamente apenas uma parte do modelo para resolver uma tarefa específica, o que, segundo a Huawei, proporciona um aumento de oito vezes na eficiência da inferência em comparação com as gerações anteriores.

Principais soluções arquitetônicas e técnicas

Os modelos PanGu são construídos com base na arquitetura Transformer do tipo GPT, mas com uma série de inovações para o treinamento de modelos de grande escala. Para controlar o processo de geração, foi introduzida uma camada de consulta (Query Layer) especial, que ajuda a induzir a saída desejada durante a fase de pré-treinamento.

O treinamento e a operação dos modelos PanGu estão intimamente integrados com a plataforma de hardware e software própria da Huawei:

• Processadores Ascend 910: Aceleradores de IA especializados que formam a base dos clusters de computação.
• Framework MindSpore: Uma plataforma de aprendizado profundo de código aberto que suporta uma tecnologia de paralelismo automático, combinando cinco tipos de paralelismo (de dados, de modelo, de pipeline, de otimizador, etc.) para distribuir eficientemente os cálculos entre milhares de nós.

Modelos especializados e suas aplicações

PanGu-Weather

Um dos modelos mais conhecidos da família é o PanGu-Weather — um modelo meteorológico global baseado em aprendizado profundo. Em julho de 2023, um artigo sobre o modelo foi publicado na prestigiosa revista científica Nature.

O modelo demonstrou a capacidade de superar em precisão os métodos numéricos tradicionais de previsão do tempo do Centro Europeu de Previsões Meteorológicas a Médio Prazo (ECMWF) com uma velocidade significativamente maior. A geração de uma previsão global de 24 horas leva apenas alguns segundos para o modelo, em vez de várias horas de cálculos em supercomputadores, o que representa uma aceleração de aproximadamente 10.000 vezes. Em agosto de 2023, as previsões do PanGu-Weather foram integradas ao serviço do ECMWF para uso em serviços meteorológicos práticos.

Aplicações industriais

Os modelos PanGu foram implementados em mais de 500 cenários em 30 setores da economia. Alguns exemplos:

• Agricultura: A Academia Chinesa de Ciências Agrícolas (CAAS) utilizou o PanGu para desenvolver um modelo de melhoramento genético, o que permitiu criar uma variedade experimental de arroz com maior resistência ao acamamento.
• Indústria de óleo e gás: A CNPC utiliza o modelo PanGu para a detecção automática de defeitos em dutos com precisão submilimétrica, aumentando a eficiência em aproximadamente 40%.
• Administração pública: Em Shenzhen, foi criado um assistente inteligente chamado "Xiaofu", que fornece aos cidadãos informações sobre serviços públicos com base em um corpus de mais de 200.000 documentos locais.
• Farmacologia: O modelo PanGu Drug Molecule é usado para acelerar o processo de triagem de candidatos a medicamentos. Afirma-se que, com sua ajuda, foi descoberta uma nova classe de antibióticos, o que representa o primeiro avanço nesse campo em 40 anos.

Abertura do código-fonte

Em junho de 2025, a Huawei anunciou a abertura do código-fonte (open-source) de parte dos modelos da família PanGu. Foram disponibilizados para acesso público:

• PanGu Dense Model 7B (7 bilhões de parâmetros).
• PanGu Pro MoE Model 72B (72 bilhões de parâmetros).

Este passo visa estimular a inovação e criar um ecossistema aberto em torno da plataforma de hardware Huawei Ascend, sendo uma resposta estratégica à concorrência global no campo da IA.

Literatura

• Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
• Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
• Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
• Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
• Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
• MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
• Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
• AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
• CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
• MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
• Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.