骨骼点检测技术详解:探索机器识别人体动作的奥秘

随着人工智能技术的持续进步,机器不仅能听懂人类语言,识别图片内容,还能通过对人体动作的精准捕捉来实现有效的人体行为监测。这项技术主要集中在智能视频监控,病人监护系统,人机交互,虚拟现实,人体动画,智能家居,智能安防,运动员辅助训练等领域。那么机器是如何识别人体动作的呢?我们可以通过学习HarmonyOS SDK基础视觉服务(Core Vision Kit)提供的骨骼点检测能力来进行探索。

人体骨骼点检测,主要是检测人体的一些关键点,当前,基础视觉服务的骨骼检测技术可支持17个关键点的识别,具体为鼻子,左右眼,左右耳,左右肩,左右肘、左右手腕、左右髋、左右膝、左右脚踝。

系统可以通过检测出的关键点描述人体的骨骼信息,并基于骨骼点信息对人体姿势进行估计,从而识别人体的姿势和动作,比如站立、蹲下、跑步等。骨骼点检测技术除了能实现对人体行为的监控,还可以应用于游戏娱乐领域,通过对人体骨骼点的检测捕捉人体动作姿态,并应用于虚拟模型中,使模型可以活动起来。

开发步骤

开发者可以通过集成HarmonyOS SDK基础视觉服务提供的API来调用骨骼检测功能,具体步骤如下:

1.在使用骨骼点检测时,将实现骨骼点检测相关的类添加至工程。

复制代码
import { skeletonDetection, visionBase } from '@kit.CoreVisionKit';
import { BusinessError } from '@kit.BasicServicesKit';

2.简单配置页面的布局,并在Button组件添加点击事件,拉起图库,选择图片。

复制代码
Button('选择图片')
  .type(ButtonType.Capsule)
  .fontColor(Color.White)
  .alignSelf(ItemAlign.Center)
  .width('80%')
  .margin(10)
  .onClick(() => {
    // 拉起图库,获取图片资源
    this.selectImage();
  })

3.通过图库获取图片资源,将图片转换为PixelMap。

复制代码
private async selectImage() {
  let uri = await this.openPhoto()
  if (uri === undefined) {
    hilog.error(0x0000, 'skeletonDetectSample', "Failed to defined uri.");
  }
  this.loadImage(uri)
}

private openPhoto(): Promise<string> {
  return new Promise<string>((resolve, reject) => {
    let photoPicker: photoAccessHelper.PhotoViewPicker = new photoAccessHelper.PhotoViewPicker();
    photoPicker.select({
      MIMEType: photoAccessHelper.PhotoViewMIMETypes.IMAGE_TYPE, maxSelectNumber: 1
    }).then(res => {
      resolve(res.photoUris[0])
    }).catch((err: BusinessError) => {
      hilog.error(0x0000, 'skeletonDetectSample', `Failed to get photo image uri. code:${err.code},message:${err.message}`);
      reject('')
    })
  })
}

private loadImage(name: string) {
  setTimeout(async () => {
    let fileSource = await fileIo.open(name, fileIo.OpenMode.READ_ONLY);
    this.imageSource = image.createImageSource(fileSource.fd);
    this.chooseImage = await this.imageSource.createPixelMap();
  }, 100)
}

4.实例化Request对象,并传入待检测图片的PixelMap,实现骨骼点检测功能。

复制代码
// 调用骨骼点识别接口
let request: visionBase.Request = {
inputData: { pixelMap: this.chooseImage, }
};
let data: skeletonDetection.SkeletonDetectionResponse = await (await 
skeletonDetection.SkeletonDetector.create()).process(request);

5.(可选)如果需要将结果展示在界面上,可以用下列代码。

复制代码
let data: skeletonDetection.SkeletonDetectionResponse = await (await skeletonDetection.SkeletonDetector.create()).process(request);
let poseJson = JSON.stringify(data);
hilog.info(0x0000, 'skeletonDetectSample', `Succeeded in face detect:${poseJson}`);
this.dataValues = poseJson;

了解更多详情>>

访问基础视觉服务联盟官网

获取骨骼点检测能力的开发指导文档

相关推荐
爱写Bug的浮游20 小时前
初识仓颉:5 分钟看懂核心语法
harmonyos·编程语言
程序猿追1 天前
鸿蒙 PC 的 Ionic 工单有两个错误,按下生成后光标该去哪儿
华为·harmonyos
KevinChaos2 天前
随手备忘录手记 04|HarmonyOS 7.0新特性实验:物品图鉴的加载逻辑
华为·harmonyos
Sirius_Ji2 天前
从硬解基座到字幕与滤镜链:ffmpeg-for-HarmonyOS v0.3.2
harmonyos
用户86194177207412 天前
uni-app 鸿蒙端提现点不动?我用 UTS 插件补上了微信"确认收款"
微信·harmonyos
码间留白2 天前
uni-app 鸿蒙端提现点不动?我用 UTS 插件补上了微信"确认收款"
uni-app·harmonyos·鸿蒙·uts插件·微信商家转账
GitCode官方2 天前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
程序猿追3 天前
鸿蒙 PC 用 Tauri 做本地查找,怎样让慢请求给新请求让路
华为·状态模式·harmonyos
程序猿追3 天前
鸿蒙 PC 用 Ionic 做巡检目录,缩窄窗口后草稿还在吗
华为·harmonyos
jianqiang.xue3 天前
1颗NPU分时复用:鸿蒙把轻AI塞进了MCU
人工智能·单片机·mcu·嵌入式·harmonyos·鸿蒙·端侧ai