OpenHarmony-AI调研

OpenHarmony-AI调研


文章目录


前言

基于OpenHarmony-5.0.0版本以及laval社区等网络资料调研当前OH上的AI发展情况。


一、当前版本部署组件

javascript 复制代码
common/inherit/rich.json
{
  "subsystem": "ai",
  "components": [
    {
      "component": "neural_network_runtime",
      "features": []
    },
    {
      "component": "mindspore",
      "features": []
    },
    {
      "component": "intelligent_voice_framework",
      "features": []
    }
  ]
}

二、AI架构

除了三方库下的mindspore-lite和驱动目录里的声音识别驱动框架,其他内容都存在于foundation/ai子目录里。


架构图找到了挺多种,不过都差不多。

1.mindspore-lite

  • 华为推出的全场景AI推理引擎
  • 更版本到v2.3.0
  • 编译出的so文件位于out/产品名/thirdparty/mindspore/目录
    libmindir.z.solibmindspore-lite.so、libmindspore_lite_ndk.so

./build.sh --product-name 产品名 --target-cpu arm -T mindspore_lib --ccache

  • 提供跨多个后端构建选项
javascript 复制代码
 | 硬件平台           | 操作系统            | 状态  |
 | :------------     | :--------------     | :--- |
 | Ascend 910        | Ubuntu-x86          | ✔️   |
 |                   | Ubuntu-aarch64      | ✔️   |
 |                   | EulerOS-aarch64     | ✔️   |
 |                   | CentOS-x86          | ✔️   |
 |                   | CentOS-aarch64      | ✔️   |
 | GPU CUDA 10.1     | Ubuntu-x86          | ✔️   |
 | CPU               | Ubuntu-x86          | ✔️   |
 |                   | Ubuntu-aarch64      | ✔️   |
 |                   | Windows-x86         | ✔️   | 

2.ai_engine

AI业务子系统:统一的AI引擎框架,实现算法能力快速插件化集成。框架中主要包含插件管理、模块管理和通信管理等模块,对AI算法能力进行生命周期管理和按需部署。后续,会逐步定义统一的AI能力接口,便于AI能力的分布式调用。同时,提供适配不同推理框架层级的统一推理接口。

3.neural_network_runtime

  • NNRT-神经网络运行时,连通上层AI推理框架和底层AI芯片
  • NNRt开放了标准统一的南向HDI接口,使第三方芯片设备可以通过NNRt HDI接口接入Openharmony

4.intelligent_voice_framework

智能语音组件包括智能语音服务框架和智能语音驱动,主要实现了语音注册及语音唤醒相关功能. 智能语音服务框架支持如下功能:

系统事件监测:开机解锁、亮灭屏等系统事件监测 并发策略:智能语音业务并发管理 智能语音业务:语音注册、语音唤醒等智能语音业务处理

声音触发器:DSP模型加载、DSP算法启停、DSP事件处理

javascript 复制代码
/foundation/ai/intelligent_voice_framework  # 智能音频组件业务代码
├── frameworks                              # 框架代码
│   ├── native                              # 内部接口实现
│   └── js                                  # 外部接口实现
├── interfaces                              # 接口代码
│   ├── inner_api                           # 内部接口
│   └── kits                                # 外部接口
├── sa_profile                              # 服务配置文件
├── services                                # 服务代码
├── LICENSE                                 # 证书文件
├── tests                                   # 开发者测试
└── utils                                   # 公共函数  

5.HDI驱动

当前HDI驱动下只找到了声音识别驱动框架,暂时没有发现对接AI芯片的内容。

  • drivers/interface/intelligent_voice
  • 配合foundation下的intelligent_voice_framework

三、应用

1.命令行以及web运行deepseek-r1

2.与deepseek通过语音进行交互

3.物品识别

(1)JS实现UI界面的功能;

(2)Native接口及实现主要为JS提供接口进行AI推理。通过Native方式完成推理的前处理、推理以及后处理,这里通过调用opencv、MindSpore-Lite的API接口实现主要功能;

(3)Mindspore Lite为Openharmony AI推理框架,为上层应用提供统一的AI推理接口,可以完成在手机等端侧设备中的模型推理过程;

(4) Neural Network Runtime神经网络运行时,作为中间桥梁连通上层AI推理框架和底层加速芯片,实现AI模型的跨芯片推理计算。提供统一AI芯片驱动接口,使AI芯片驱动能够接入OpenHarmony系统;

(5)NNRt host 实现了NNRt HDI接口功能,通过对接底层AI芯片接口为上层应用提供NPU硬件推理的能力。

4.人脸识别

(1)基于opencv

(2)SeetaFace2

四、AI适配需要实现的内容

1.实现目标识别的AI应用

2.构建目标识别的模型

  • 模型量化剪除
  • 模型转换为MindSpore封装的模型文件

3.南向NPU芯片的适配

  • 增加NNRt host进程,实现NNRt设备服务进程
相关推荐
想要成为计算机高手2 分钟前
4. isaac sim4.2 教程-Core API-Hello robot
人工智能·python·机器人·英伟达·isaac sim·仿真环境
倔强的小石头_10 分钟前
AI 在生活中的应用:深度解析与技术洞察
人工智能
新加坡内哥谈技术15 分钟前
LLM探索的时代
人工智能
YFJ_mily29 分钟前
2025第二届机电一体化、机器人与控制系统国际会议(MRCS2025)即将来袭
大数据·人工智能·机器人·机电一体化
lucky_lyovo32 分钟前
深度学习--tensor(创建、属性)
人工智能·深度学习
说私域44 分钟前
淘宝直播与开源链动2+1模式AI智能名片S2B2C商城小程序的融合发展研究
人工智能·小程序·开源
陈敬雷-充电了么-CEO兼CTO44 分钟前
复杂任务攻坚:多模态大模型推理技术从 CoT 数据到 RL 优化的突破之路
人工智能·python·神经网络·自然语言处理·chatgpt·aigc·智能体
阿维同学1 小时前
自动驾驶关键算法深度研究
人工智能·算法·自动驾驶
盼小辉丶1 小时前
TensorFlow深度学习实战——基于自编码器构建句子向量
人工智能·深度学习·tensorflow
倔强的石头1062 小时前
Bright Data MCP+Trae :快速构建电商导购助手垂直智能体
大数据·人工智能