OpenHarmony-AI调研

OpenHarmony-AI调研


文章目录


前言

基于OpenHarmony-5.0.0版本以及laval社区等网络资料调研当前OH上的AI发展情况。


一、当前版本部署组件

javascript 复制代码
common/inherit/rich.json
{
  "subsystem": "ai",
  "components": [
    {
      "component": "neural_network_runtime",
      "features": []
    },
    {
      "component": "mindspore",
      "features": []
    },
    {
      "component": "intelligent_voice_framework",
      "features": []
    }
  ]
}

二、AI架构

除了三方库下的mindspore-lite和驱动目录里的声音识别驱动框架,其他内容都存在于foundation/ai子目录里。


架构图找到了挺多种,不过都差不多。

1.mindspore-lite

  • 华为推出的全场景AI推理引擎
  • 更版本到v2.3.0
  • 编译出的so文件位于out/产品名/thirdparty/mindspore/目录
    libmindir.z.so、libmindspore-lite.so、libmindspore_lite_ndk.so

./build.sh --product-name 产品名 --target-cpu arm -T mindspore_lib --ccache

  • 提供跨多个后端构建选项
javascript 复制代码
 | 硬件平台           | 操作系统            | 状态  |
 | :------------     | :--------------     | :--- |
 | Ascend 910        | Ubuntu-x86          | ✔️   |
 |                   | Ubuntu-aarch64      | ✔️   |
 |                   | EulerOS-aarch64     | ✔️   |
 |                   | CentOS-x86          | ✔️   |
 |                   | CentOS-aarch64      | ✔️   |
 | GPU CUDA 10.1     | Ubuntu-x86          | ✔️   |
 | CPU               | Ubuntu-x86          | ✔️   |
 |                   | Ubuntu-aarch64      | ✔️   |
 |                   | Windows-x86         | ✔️   | 

2.ai_engine

AI业务子系统:统一的AI引擎框架,实现算法能力快速插件化集成。框架中主要包含插件管理、模块管理和通信管理等模块,对AI算法能力进行生命周期管理和按需部署。后续,会逐步定义统一的AI能力接口,便于AI能力的分布式调用。同时,提供适配不同推理框架层级的统一推理接口。

3.neural_network_runtime

  • NNRT-神经网络运行时,连通上层AI推理框架和底层AI芯片
  • NNRt开放了标准统一的南向HDI接口,使第三方芯片设备可以通过NNRt HDI接口接入Openharmony

4.intelligent_voice_framework

智能语音组件包括智能语音服务框架和智能语音驱动,主要实现了语音注册及语音唤醒相关功能. 智能语音服务框架支持如下功能:

系统事件监测:开机解锁、亮灭屏等系统事件监测 并发策略:智能语音业务并发管理 智能语音业务:语音注册、语音唤醒等智能语音业务处理

声音触发器:DSP模型加载、DSP算法启停、DSP事件处理

javascript 复制代码
/foundation/ai/intelligent_voice_framework  # 智能音频组件业务代码
├── frameworks                              # 框架代码
│   ├── native                              # 内部接口实现
│   └── js                                  # 外部接口实现
├── interfaces                              # 接口代码
│   ├── inner_api                           # 内部接口
│   └── kits                                # 外部接口
├── sa_profile                              # 服务配置文件
├── services                                # 服务代码
├── LICENSE                                 # 证书文件
├── tests                                   # 开发者测试
└── utils                                   # 公共函数  

5.HDI驱动

当前HDI驱动下只找到了声音识别驱动框架,暂时没有发现对接AI芯片的内容。

  • drivers/interface/intelligent_voice
  • 配合foundation下的intelligent_voice_framework

三、应用

1.命令行以及web运行deepseek-r1

2.与deepseek通过语音进行交互

3.物品识别

(1)JS实现UI界面的功能;

(2)Native接口及实现主要为JS提供接口进行AI推理。通过Native方式完成推理的前处理、推理以及后处理,这里通过调用opencv、MindSpore-Lite的API接口实现主要功能;

(3)Mindspore Lite为Openharmony AI推理框架,为上层应用提供统一的AI推理接口,可以完成在手机等端侧设备中的模型推理过程;

(4) Neural Network Runtime神经网络运行时,作为中间桥梁连通上层AI推理框架和底层加速芯片,实现AI模型的跨芯片推理计算。提供统一AI芯片驱动接口,使AI芯片驱动能够接入OpenHarmony系统;

(5)NNRt host 实现了NNRt HDI接口功能,通过对接底层AI芯片接口为上层应用提供NPU硬件推理的能力。

4.人脸识别

(1)基于opencv

(2)SeetaFace2

四、AI适配需要实现的内容

1.实现目标识别的AI应用

2.构建目标识别的模型

  • 模型量化剪除
  • 模型转换为MindSpore封装的模型文件

3.南向NPU芯片的适配

  • 增加NNRt host进程,实现NNRt设备服务进程
相关推荐
对你无可奈何16 分钟前
把零散的模型用起来:Magpie 接入 Trae,再折腾两个池子
人工智能
七夜zippoe30 分钟前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
AI导出鸭PC端34 分钟前
纳米AI怎么复制表格?对话导出总是格式崩塌,我用“AI 导出鸭”重构了工作流
人工智能·重构·豆包·ai导出鸭
AI导出鸭PC端1 小时前
用 AI 导出鸭高效处理:豆包导 pdf 怎么压缩但清晰
android·人工智能·pdf·豆包·ai导出鸭
装不满的克莱因瓶1 小时前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
数字融合1 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
我闪了个去2 小时前
一个 Scroll 撑起整个首页:HarmonyOS 7 懒加载布局把网格、瀑布流、吸顶分组装进一次滚动
harmonyos·arkts
知行产研2 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士2 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师2 小时前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能