# hiai_ddk

**Repository Path**: TOMsworkspace/hiai_ddk

## Basic Information

- **Project Name**: hiai_ddk
- **Description**: 华为终端有强大的AI能力，为了让开发者能够更简单快捷的应用华为终端的AI能力，HUAWEI HiAI基于“芯、端、云”三层开放架构，构筑全面开放的智慧生态，让开发者能够快速地利用华为强大的AI处理能力，为用户提供更好的智慧应用体验。
HUAWEI HiAI Foundation作为芯片使能的基础平台，提供了300+算子的支持，具备业界最佳的模型兼容性，为众多业务场景提供了更高性能更低功耗的计算环境
- **Primary Language**: C++
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 22
- **Created**: 2025-05-08
- **Last Updated**: 2025-05-08

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# HUAWEI HiAI Foundation介绍

## 业务介绍

华为终端有强大的AI能力，为了让开发者能够更简单快捷的应用华为终端的AI能力，HUAWEI HiAI基于“芯、端、云”三层开放架构，构筑全面开放的智慧生态，让开发者能够快速地利用华为强大的AI处理能力，为用户提供更好的智慧应用体验。

HUAWEI HiAI Foundation作为芯片使能的基础平台，提供了300+算子的支持，具备业界最佳的模型兼容性，为众多业务场景提供了更高性能更低功耗的计算环境。

![img](https://alliance-communityfile-drcn.dbankcdn.com/FileServer/getFile/cmtyPub/011/111/111/0000000000011111111.20210708144053.05364942099834414782288116808750:50520707094033:2800:E71B980B17A91C503882D5D8A2E8AE307EAFAF0F17176182128D36A683C8FEE6.png?needInitFileName=true?needInitFileName=true) 

HUAWEI HiAI Foundation衔接智慧业务和计算芯片，提供轻量化模型计算能力，支持华为MindSpore、TensorFlow、Caffe、Paddle、ONNX、AndroidNN等框架的对接，支持芯片内多计算单元的异构计算，为开发者提供模型量化，模型转换，性能调优，维测等高效工具链。

HiAI DDK开发套件将其AI推理能力封装在动态库文件里，通过此方式集成在用户app中，因此HiAI DDK支持跨平台交叉编译，目前支持情况如下所示：

| 硬件平台     |                                                                                   | 状态  |
|:-------- |:--------------------------------------------------------------------------------- |:--- |
| Kirin 平台 | Kirin 820、Kirin 985 、Kirin 990 、Kirin 990 5G 、Kirin 990E 、Kirin 9000 、Kirin 9000E | ✔️  |

| 操作系统  | 状态  |
|:----- |:--- |
| 鸿蒙3.0 | ✔️  |

## 场景介绍

* HUAWEI HiAI Foundation支持针对神经网络模型运算的专用AI指令集，可以高效并发执行更多的神经网络算子。

* HUAWEI HiAI Foundation通过工具可以把神经网络各种算子，比如卷积、池化、激活、全连接等离线编译成NPU的专用AI指令序列，同时
  将数据和权重重新排布，指令与数据融合在一起生成离线模型。在离线编译的时候，可以把前后层（卷积、池化、激活）能够融合的算子进行层间融合，这种方式可以减少DDR的读写带宽，提升性能。

* HUAWEI HiAI Foundation能够自动识别运行环境上的计算能力，对神经网络进行自适应的子图拆分和设备协同调度能力。能够支持NPU、CPU的计算加速，在没有NPU的情况下，也能通过CPU提供更广泛的硬件适应能力。

* HUAWEI HiAI Foundation支持对预训练模型到端侧推理模型的自动优化能力。模型轻量化面向不同用户的使用场景，提供多种不同算法，通过校准或重训练的方式自动实现满足业务精度要求的更小更快模型。

* HUAWEI HiAI Foundation支持计算能力增强功能。计算能力增强功能为HiAI 提供的端侧、云侧协同工作的开放能力。

## 工程结构

工程结构详见[工程结构介绍](doc/工程结构及编译.md#工程结构介绍)

编译及过程参见[编译](doc/工程结构及编译.md#编译)

## APP集成

APP开发过程参考[HUAWEI HiAI Foundation  开发指南](doc/HUAWEIHiAIFoundation开发指南.md)，当前开源部分仅支持NPU推理。

使用c接口构图开发过程参考[DDK C接口说明](DDK_C接口说明.md)

ddk下载参见[SDK](https://developer.huawei.com/consumer/cn/doc/hiai-Library/ddk-download-0000001053590180)

## 版本说明

版本说明请参阅[RELEASE](RELEASE.md)。

## 许可证

[Apache License 2.0](LICENSE)