Huawei PanGu

Материал из Systems analysis wiki
Перейти к навигации Перейти к поиску

Huawei PanGu (кит. 盘古) — это семейство ультра-крупных предобученных моделей искусственного интеллекта (foundation models), разработанных компанией Huawei Cloud. Название «PanGu» отсылает к Пань-гу, мифологическому первосуществу в китайской культуре, которое создало мир[1]. Семейство PanGu охватывает различные области, включая обработку естественного языка (NLP), компьютерное зрение (CV), мультимодальный анализ, прогностическое моделирование и научные вычисления.

История и развитие

PanGu-α (2021)

Первая модель семейства, PanGu-α (PanGu-Alpha), была представлена в апреле 2021 года. С 200 миллиардами параметров она стала на тот момент крупнейшей языковой моделью для китайского языка, превзойдя по размеру GPT-3 (175 млрд) от OpenAI[2].

Модель была разработана командой Huawei Cloud в сотрудничестве с лабораторией Noah's Ark и обучена на кластере из 2048 специализированных процессоров Huawei Ascend 910 с использованием фреймворка MindSpore[3]. Обучающий корпус составил 1,1 ТБ высококачественных текстовых данных на китайском языке. PanGu-α продемонстрировала высокие результаты на бенчмарке CLUE (Chinese Language Understanding Evaluation), заняв первое место в общем рейтинге[1].

PanGu 3.0 (2023): Платформенный подход

В июле 2023 года Huawei представила платформу PanGu 3.0, знаменующую переход от единой модели к многоуровневой архитектуре «5+N+X», ориентированной на промышленное применение[4].

  • L0 (Базовый слой): Пять фундаментальных моделей (NLP, CV, мультимодальная, предсказательная и научно-вычислительная).
  • L1 (Отраслевой слой): N отраслевых моделей, дообученных на основе базовых для конкретных индустрий (госуправление, финансы, производство и др.).
  • L2 (Сценарный слой): X моделей для конкретных прикладных задач (виртуальный ассистент, прогноз траектории тайфуна и др.).

Такой иерархический подход позволяет клиентам либо использовать готовые решения, либо дообучать отраслевые модели на собственных данных, что значительно упрощает и удешевляет адаптацию.

PanGu 5.5 (2025): Архитектура Mixture-of-Experts

В июне 2025 года Huawei анонсировала обновление до PanGu 5.5, нацеленное на углубленное решение индустриальных задач. Ключевой особенностью стала архитектура смеси экспертов (MoE) с 256 экспертными подсетями, что позволило увеличить совокупный объем параметров до 718 миллиардов[5]. Архитектура MoE позволяет динамически активировать только часть модели при решении конкретной задачи, что, по заявлениям Huawei, обеспечивает восьмикратное повышение эффективности инференса по сравнению с предыдущими поколениями[6].

Ключевые архитектурные и технические решения

Модели PanGu построены на базе трансформерной архитектуры типа GPT, но с рядом инноваций для обучения сверхбольших моделей. Для управления процессом генерации был введен специальный слой запросов (Query Layer), который помогает индуцировать желаемый вывод на этапе предобучения[3].

Обучение и эксплуатация моделей PanGu тесно интегрированы с собственной аппаратной и программной платформой Huawei:

  • Процессоры Ascend 910: Специализированные ИИ-ускорители, составляющие основу вычислительных кластеров.
  • Фреймворк MindSpore: Платформа для глубокого обучения с открытым исходным кодом, поддерживающая авто-параллельную технологию, которая комбинирует пять видов параллелизма (данных, модели, конвейера, оптимизатора и др.) для эффективного распределения вычислений между тысячами узлов[3].

Специализированные модели и их применение

PanGu-Weather

Одной из самых известных моделей семейства стала PanGu-Weather — глобальная метеорологическая модель на основе глубокого обучения. В июле 2023 года статья о ней была опубликована в престижном научном журнале Nature[7].

Модель продемонстрировала способность превосходить по точности традиционные численные методы прогноза погоды от Европейского центра среднесрочных прогнозов (ECMWF) при значительно большей скорости. Генерация глобального прогноза на 24 часа занимает у модели считанные секунды вместо нескольких часов суперкомпьютерных расчетов, что означает ускорение примерно в 10 000 раз[7]. В августе 2023 года прогнозы PanGu-Weather были интегрированы в сервис ECMWF для использования в практических метеорологических услугах[8].

Промышленное применение

Модели PanGu внедрены в более чем 500 сценариях в 30 отраслях экономики. Некоторые примеры:

  • Сельское хозяйство: Китайская академия аграрных наук (CAAS) с помощью PanGu разработала модель для селекции, что позволило вывести экспериментальный сорт риса с улучшенной стойкостью к полеганию[5].
  • Нефтегазовая промышленность: CNPC использует модель PanGu для автоматического выявления дефектов трубопроводов с субмиллиметровой точностью, повышая эффективность на ~40%[9].
  • Государственное управление: В Шэньчжэне создан интеллектуальный ассистент «Xiaofu», который предоставляет гражданам информацию о госуслугах, основываясь на корпусе из более 200 000 локальных документов[4].
  • Фармакология: Модель PanGu Drug Molecule используется для ускорения процесса скрининга лекарственных кандидатов. Заявлено, что с её помощью был открыт новый класс антибиотиков, что стало первым прорывом в этой области за 40 лет[4].

Открытие исходного кода

В июне 2025 года Huawei объявила об открытии исходного кода (open-source) части моделей семейства PanGu. В открытый доступ были выложены[10]:

  • PanGu Dense Model 7B (7 млрд параметров).
  • PanGu Pro MoE Model 72B (72 млрд параметров).

Этот шаг направлен на стимулирование инноваций и создание открытой экосистемы вокруг аппаратной платформы Huawei Ascend, что является стратегическим ответом на глобальную конкуренцию в сфере ИИ[10].

См. также

Литература

  • Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
  • Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
  • Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
  • Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
  • Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
  • MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
  • Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
  • AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
  • CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
  • MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
  • Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
  • Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.

Примечания

  1. ↑ 1,0 1,1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
  2. ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
  3. ↑ 3,0 3,1 3,2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
  4. ↑ 4,0 4,1 4,2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
  5. ↑ 5,0 5,1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
  6. ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
  7. ↑ 7,0 7,1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
  8. ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
  9. ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
  10. ↑ 10,0 10,1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]
Источник — https://systems-analysis.ru/wiki/index.php?title=Huawei_PanGu&oldid=4453