HarmonyOS：使用MindSpore Lite引擎进行模型推理

HarmonyOS开发者2023-12-14 15:12

场景介绍

MindSpore Lite是一款AI引擎，它提供了面向不同硬件设备AI模型推理的功能，目前已经在图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。

本文介绍使用MindSpore Lite推理引擎进行模型推理的通用开发流程。

基本概念

在进行开发前，请先了解以下概念。

张量：它与数组和矩阵非常相似，是MindSpore Lite网络运算中的基本数据结构。

Float16推理模式： Float16又称半精度，它使用16比特表示一个数。Float16推理模式表示推理的时候用半精度进行推理。

接口说明

这里给出MindSpore Lite推理的通用开发流程中涉及的一些接口，具体请见下列表格。

Context 相关接口

接口名称 描述
OH_AI_ContextHandle OH_AI_ContextCreate() 创建一个上下文的对象。
void OH_AI_ContextSetThreadNum(OH_AI_ContextHandle context, int32_t thread_num) 设置运行时的线程数量。
void OH_AI_ContextSetThreadAffinityMode(OH_AI_ContextHandle context, int mode) 设置运行时线程绑定CPU核心的策略，按照CPU物理核频率分为大、中、小三种类型的核心，并且仅需绑大核或者绑中核，不需要绑小核。
OH_AI_DeviceInfoHandle OH_AI_DeviceInfoCreate(OH_AI_DeviceType device_type) 创建一个运行时设备信息对象。
void OH_AI_ContextDestroy(OH_AI_ContextHandle *context) 释放上下文对象。
void OH_AI_DeviceInfoSetEnableFP16(OH_AI_DeviceInfoHandle device_info, bool is_fp16) 设置是否开启Float16推理模式，仅CPU/GPU设备可用。
void OH_AI_ContextAddDeviceInfo(OH_AI_ContextHandle context, OH_AI_DeviceInfoHandle device_info) 添加运行时设备信息。

Model 相关接口

接口名称 描述
OH_AI_ModelHandle OH_AI_ModelCreate() 创建一个模型对象。
OH_AI_Status OH_AI_ModelBuildFromFile(OH_AI_ModelHandle model, const char *model_path,OH_AI_ModelType odel_type, const OH_AI_ContextHandle model_context) 通过模型文件加载并编译MindSpore模型。
void OH_AI_ModelDestroy(OH_AI_ModelHandle *model) 释放一个模型对象。

Tensor 相关接口

接口名称 描述
OH_AI_TensorHandleArray OH_AI_ModelGetInputs(const OH_AI_ModelHandle model) 获取模型的输入张量数组结构体。
int64_t OH_AI_TensorGetElementNum(const OH_AI_TensorHandle tensor) 获取张量元素数量。
const char *OH_AI_TensorGetName(const OH_AI_TensorHandle tensor) 获取张量的名称。
OH_AI_DataType OH_AI_TensorGetDataType(const OH_AI_TensorHandle tensor) 获取张量数据类型。
void *OH_AI_TensorGetMutableData(const OH_AI_TensorHandle tensor) 获取可变的张量数据指针。

开发步骤

使用MindSpore Lite进行模型推理的开发流程如下图所示。图1 使用MindSpore Lite进行模型推理的开发流程

进入主要流程之前需要先引用相关的头文件，并编写函数生成随机的输入，具体如下：

arduino 复制代码 
#include <stdlib.h>
#include <stdio.h>
#include "mindspore/model.h"

//生成随机的输入
int GenerateInputDataWithRandom(OH_AI_TensorHandleArray inputs) {
  for (size_t i = 0; i < inputs.handle_num; ++i) {
    float *input_data = (float *)OH_AI_TensorGetMutableData(inputs.handle_list[i]);
    if (input_data == NULL) {
      printf("MSTensorGetMutableData failed.\n");
      return OH_AI_STATUS_LITE_ERROR;
    }
    int64_t num = OH_AI_TensorGetElementNum(inputs.handle_list[i]);
    const int divisor = 10;
    for (size_t j = 0; j < num; j++) {
      input_data[j] = (float)(rand() % divisor) / divisor;  // 0--0.9f
    }
  }
  return OH_AI_STATUS_SUCCESS;
}

然后进入主要的开发步骤，具括包括模型的准备、读取、编译、推理和释放，具体开发过程及细节请见下文的开发步骤及示例。

  1. 模型准备。

需要的模型可以直接下载，也可以通过模型转换工具获得。

a. 下载模型的格式若为.ms，则可以直接使用。本文以mobilenetv2.ms为例。

b. 如果是第三方框架的模型，比如 TensorFlow、TensorFlow Lite、Caffe、ONNX等，可以使用模型转换工具转换为.ms格式的模型文件。

  1. 创建上下文，设置线程数、设备类型等参数。
ini 复制代码 
// 创建并配置上下文，设置运行时的线程数量为2，绑核策略为大核优先
OH_AI_ContextHandle context = OH_AI_ContextCreate();
if (context == NULL) {
  printf("OH_AI_ContextCreate failed.\n");
  return OH_AI_STATUS_LITE_ERROR;
}
const int thread_num = 2;
OH_AI_ContextSetThreadNum(context, thread_num);
OH_AI_ContextSetThreadAffinityMode(context, 1);
//设置运行设备为CPU，不使用Float16推理
OH_AI_DeviceInfoHandle cpu_device_info = OH_AI_DeviceInfoCreate(OH_AI_DEVICETYPE_CPU);
if (cpu_device_info == NULL) {
  printf("OH_AI_DeviceInfoCreate failed.\n");
  OH_AI_ContextDestroy(&context);
  return OH_AI_STATUS_LITE_ERROR;
}
OH_AI_DeviceInfoSetEnableFP16(cpu_device_info, false);
OH_AI_ContextAddDeviceInfo(context, cpu_device_info);
  1. 创建、加载与编译模型。

调用OH_AI_ModelBuildFromFile加载并编译模型。

本例中传入OH_AI_ModelBuildFromFile的argv1参数是从控制台中输入的模型文件路径。

scss 复制代码 
// 创建模型
OH_AI_ModelHandle model = OH_AI_ModelCreate();
if (model == NULL) {
  printf("OH_AI_ModelCreate failed.\n");
  OH_AI_ContextDestroy(&context);
  return OH_AI_STATUS_LITE_ERROR;
}

// 加载与编译模型，模型的类型为OH_AI_MODELTYPE_MINDIR
int ret = OH_AI_ModelBuildFromFile(model, argv[1], OH_AI_MODELTYPE_MINDIR, context);
if (ret != OH_AI_STATUS_SUCCESS) {
  printf("OH_AI_ModelBuildFromFile failed, ret: %d.\n", ret);
  OH_AI_ModelDestroy(&model);
  return ret;
}
  1. 输入数据。

模型执行之前需要向输入的张量中填充数据。本例使用随机的数据对模型进行填充。

scss 复制代码 
// 获得输入张量
OH_AI_TensorHandleArray inputs = OH_AI_ModelGetInputs(model);
if (inputs.handle_list == NULL) {
  printf("OH_AI_ModelGetInputs failed, ret: %d.\n", ret);
  OH_AI_ModelDestroy(&model);
  return ret;
}
// 使用随机数据填充张量
ret = GenerateInputDataWithRandom(inputs);
if (ret != OH_AI_STATUS_SUCCESS) {
  printf("GenerateInputDataWithRandom failed, ret: %d.\n", ret);
  OH_AI_ModelDestroy(&model);
  return ret;
}
  1. 执行推理。

使用OH_AI_ModelPredict接口进行模型推理。

scss 复制代码 
// 执行模型推理
OH_AI_TensorHandleArray outputs;
ret = OH_AI_ModelPredict(model, inputs, &outputs, NULL, NULL);
if (ret != OH_AI_STATUS_SUCCESS) {
  printf("OH_AI_ModelPredict failed, ret: %d.\n", ret);
  OH_AI_ModelDestroy(&model);
  return ret;
}
  1. 获取输出。

模型推理结束之后，可以通过输出张量得到推理结果。

ini 复制代码 
// 获取模型的输出张量，并打印
for (size_t i = 0; i < outputs.handle_num; ++i) {
  OH_AI_TensorHandle tensor = outputs.handle_list[i];
  int64_t element_num = OH_AI_TensorGetElementNum(tensor);
  printf("Tensor name: %s, tensor size is %zu ,elements num: %lld.\n", OH_AI_TensorGetName(tensor),
        OH_AI_TensorGetDataSize(tensor), element_num);
  const float *data = (const float *)OH_AI_TensorGetData(tensor);
  printf("output data is:\n");
  const int max_print_num = 50;
  for (int j = 0; j < element_num && j <= max_print_num; ++j) {
    printf("%f ", data[j]);
  }
  printf("\n");
}
  1. 释放模型。

不再使用MindSpore Lite推理框架时，需要释放已经创建的模型。

scss 复制代码 
// 释放模型
OH_AI_ModelDestroy(&model);

调测验证

  1. 编写CMakeLists.txt。
scss 复制代码 
cmake_minimum_required(VERSION 3.14)
project(Demo)

add_executable(demo main.c)

target_link_libraries(
        demo
        mindspore-lite.huawei
        pthread
        dl
)

● 使用ohos-sdk交叉编译，需要对CMake设置native工具链路径，即：-DCMAKE_TOOLCHAIN_FILE="/xxx/native/build/cmake/ohos.toolchain.camke"。

● 工具链默认编译64位的程序，如果要编译32位，需要添加：-DOHOS_ARCH="armeabi-v7a"。

  1. 运行。

● 使用hdc_std连接设备，并将demo和mobilenetv2.ms推送到设备中的相同目录。

● 使用hdc_std shell进入设备，并进入demo所在的目录执行如下命令，即可得到结果。

bash 复制代码 
./demo mobilenetv2.ms

得到如下输出：

yaml 复制代码 
# ./QuickStart ./mobilenetv2.ms                                            
Tensor name: Softmax-65, tensor size is 4004 ,elements num: 1001.
output data is:
0.000018 0.000012 0.000026 0.000194 0.000156 0.001501 0.000240 0.000825 0.000016 0.000006 0.000007 0.000004 0.000004 0.000004 0.000015 0.000099 0.000011 0.000013 0.000005 0.000023 0.000004 0.000008 0.000003 0.000003 0.000008 0.000014 0.000012 0.000006 0.000019 0.000006 0.000018 0.000024 0.000010 0.000002 0.000028 0.000372 0.000010 0.000017 0.000008 0.000004 0.000007 0.000010 0.000007 0.000012 0.000005 0.000015 0.000007 0.000040 0.000004 0.000085 0.000023
相关推荐
行者-全栈开发8 小时前
【鸿蒙心迹】三方库移植（二）——CMake 交叉编译与符号冲突排查实录（HarmonyOS 7.x）
harmonyos·cmake·交叉编译·三方库移植·ohos·符号冲突
梦想不只是梦与想10 小时前
鸿蒙三方库源码调试
harmonyos·断点调试·三方源码调试
用户1179104883312 小时前
AI输出满屏井号星号？hmharness把Markdown渲染成终端表格 GitHub:swsgbl/hmharness
ai编程·harmonyos
了一12314 小时前
鸿蒙ArkWeb 长截图（滚动截图）技术方案总结
harmonyos
熊猫钓鱼>_>14 小时前
平行视界兼容模式与魔法变量配置避坑【鸿蒙心迹】
运维·服务器·开发语言·笔记·华为·harmonyos·openharmony
罗四强15 小时前
第2篇：环境搭建：DevEco Studio 安装 + 第一个 Hello World
harmonyos·鸿蒙·鸿蒙系统
用户1179104883316 小时前
AI终端里复制不了代码？hmharness把鼠标还给终端 GitHub:swsgbl/hmharness
ai编程·harmonyos
贾伟康19 小时前
HarmonyOS 端侧智能体长对话压缩：摘要版本、证据索引与安全回退
harmonyos·arkts·状态恢复·上下文压缩·端侧智能体
NJPJI_Yang20 小时前
鸿蒙操作系统小艺 Skill 开发实战：让应用被 HarmonyOS 7 一句话召唤
pytorch·深度学习·harmonyos
redtank200020 小时前
纯血鸿蒙学习效率三件套实测：背单词艾宾浩斯曲线、时间记录与睡眠辅助
学习·华为·harmonyos
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02历年考研数学一、数学二、数学三真题试卷及答案PDF03GitHub 镜像站点04几个好用的ip纯净度检测网站05苹果iPA游戏软件资源下载网站06蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接07如何新建文件夹？ 电脑新建文件夹的4种方法08昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战09Dify：一站式AI应用开发平台全解析与Windows部署指南10Android 屏幕适配系列开篇：核心概念、官方机制与主流方案