征程 6 逆向自证hbm与bc一致性

1.引言

在征程 6 算法工具链使用过程中,会存在算法侧与软件侧的交接,偶尔会遇到,需要自证清白的情况,例如:

  • 算法侧反馈:bc 精度没问题,也参考了【征程 6】bc 与 hbm 一致性比对 文章,使用 hb_verifier 工具验证了 bc 与 hbm 一致性,完成交付,美滋滋,下班!
  • 软件侧反馈:算法侧给我的 hbm 有问题,使用相同的 png 图片,我用 c++写的前处理,推理 hbm 出来的可视化不行,和 bc 对不齐,算法同学快回来加班!
  • 算法与软件:我不相信 hb_verifier 工具,只相信自己的代码。(呃呃呃呃呃)

如果遇到了这种问题,算法侧的同学怎么自证清白呢?怎么证明可能是 c++与 python 前后处理不一致的问题?

很简单:反向使用软件侧的输入,用 python 代码推理一下 bc 与 hbm,并用 python 代码来进行可视化。下面会介绍软件与算法在遇到这种问题时,应该怎么做。

2.软件侧

对于视频通路金字塔过来的图像数据,前处理一般很简单,就是 mean/std/归一化之类的,常见的应该是 NV12 输入,这部分地平线有一套非常成熟的配置方式,下面以 NV12 输入为例,介绍软件侧应该怎么给算法侧输入。

软件侧和算法侧共同拥有一张 jpg 图片,在板端使用 hrt_model_exec 工具,结合 jpg 图片,生成 hbm 真实的输入。

hbm 输入信息如下:

Plain 复制代码
INFO NAME    TYPE   SHAPE            DATA_TYPE
INFO ------- ------ ---------------- ---------
INFO data_y  input  [1, 224, 224, 1] UINT8
INFO data_uv input  [1, 112, 112, 2] UINT8
INFO prob    output [1, 1000, 1, 1]  FLOAT32

hrt_model_exec 工具有三个功能,本文主要使用 infer 功能,infer 用于模型推理,用户自定义输入图片,推理一帧。infer 功能需要与 input_file 一起使用,指定输入图片路径,工具根据模型信息 resize 图片,整理模型输入信息。本文使用到的相关参数如下

在板端执行类似如下命令:

Plain 复制代码
hrt_model_exec infer --model_file mobilenetv1_224x224_nv12.hbm --input_file zebra_cls.jpg,zebra_cls.jpg --input_img_properties Y,UV --enable_dump

会生成对应的输入/输出数据

Plain 复制代码
model_infer_input_0_data_y.bin
model_infer_input_1_data_uv.bin
model_infer_output_0_prob.bin

将两个输入。bin 数据给算法侧,请算法侧使用这两个输入去可视化 bc 模型。

3.算法侧

下面参考引言部分的文章,算法侧使用软件侧给的输入推理 hbm 模型即可,输入数据加载方式如下。

Plain 复制代码
import numpy as np

加载 bin 文件
y_bin = np.fromfile("./etc/model_infer_input_0_input_0_y.bin", dtype=np.uint8)
uv_bin = np.fromfile("./etc/model_infer_input_1_input_0_uv.bin", dtype=np.uint8)

知道具体输入形状,进行 reshape
y = y_bin.reshape((1,224,224,1))
uv = uv_bin.reshape((1,112,112,2))

inputs = {"input_0_y": y, "input_0_uv": uv}

注意:为了避免引入其他变量,此时转换编译模型时,不要删除任何节点。

推理部分代码如下:

Plain 复制代码
hbm_model = Hbm("./etc.hbm")
hbm_outputs = hbm_model[0].feed(inputs)

最后,用 hbm_outputs 走 python 的后处理与可视化即可。

4.拓展

针对更复杂的输入场景,板端使用同样的处理方式,将 hbm 模型提供给算法侧即可。

相关推荐
TiAmo zhang2 分钟前
深度学习与图像处理 | 基于PaddlePaddle的梯度下降算法实现(线性回归投资预测)
图像处理·深度学习·算法
一匹电信狗17 分钟前
【C++】手搓一个STL风格的vector容器
c语言·数据结构·c++·算法·leetcode·stl·visual studio
生信探索22 分钟前
SeuratExtend 可视化教程(1):单细胞分析的高颜值绘图指南
算法
李永奉37 分钟前
C语言-数组:数组(定义、初始化、元素的访问、遍历)内存和内存地址、数组的查找算法和排序算法;
c语言·算法·排序算法
星辰大海的精灵1 小时前
深入解析 CopyOnWriteArrayList
java·后端·算法
逝雪Yuki1 小时前
Leetcode——11. 盛最多水的容器
c++·算法·leetcode·双指针
找不到、了1 小时前
Java排序算法之<希尔排序>
java·算法·排序算法
啊阿狸不会拉杆2 小时前
《Java 程序设计》第 8 章 - Java 常用核心类详解
java·开发语言·python·算法·intellij-idea
m0_626535202 小时前
python每日一题
算法
SuperCandyXu2 小时前
洛谷 P10448 组合型枚举-普及-
算法·洛谷