征程 6 逆向自证hbm与bc一致性

1.引言

在征程 6 算法工具链使用过程中,会存在算法侧与软件侧的交接,偶尔会遇到,需要自证清白的情况,例如:

  • 算法侧反馈:bc 精度没问题,也参考了【征程 6】bc 与 hbm 一致性比对 文章,使用 hb_verifier 工具验证了 bc 与 hbm 一致性,完成交付,美滋滋,下班!
  • 软件侧反馈:算法侧给我的 hbm 有问题,使用相同的 png 图片,我用 c++写的前处理,推理 hbm 出来的可视化不行,和 bc 对不齐,算法同学快回来加班!
  • 算法与软件:我不相信 hb_verifier 工具,只相信自己的代码。(呃呃呃呃呃)

如果遇到了这种问题,算法侧的同学怎么自证清白呢?怎么证明可能是 c++与 python 前后处理不一致的问题?

很简单:反向使用软件侧的输入,用 python 代码推理一下 bc 与 hbm,并用 python 代码来进行可视化。下面会介绍软件与算法在遇到这种问题时,应该怎么做。

2.软件侧

对于视频通路金字塔过来的图像数据,前处理一般很简单,就是 mean/std/归一化之类的,常见的应该是 NV12 输入,这部分地平线有一套非常成熟的配置方式,下面以 NV12 输入为例,介绍软件侧应该怎么给算法侧输入。

软件侧和算法侧共同拥有一张 jpg 图片,在板端使用 hrt_model_exec 工具,结合 jpg 图片,生成 hbm 真实的输入。

hbm 输入信息如下:

Plain 复制代码
INFO NAME    TYPE   SHAPE            DATA_TYPE
INFO ------- ------ ---------------- ---------
INFO data_y  input  [1, 224, 224, 1] UINT8
INFO data_uv input  [1, 112, 112, 2] UINT8
INFO prob    output [1, 1000, 1, 1]  FLOAT32

hrt_model_exec 工具有三个功能,本文主要使用 infer 功能,infer 用于模型推理,用户自定义输入图片,推理一帧。infer 功能需要与 input_file 一起使用,指定输入图片路径,工具根据模型信息 resize 图片,整理模型输入信息。本文使用到的相关参数如下

在板端执行类似如下命令:

Plain 复制代码
hrt_model_exec infer --model_file mobilenetv1_224x224_nv12.hbm --input_file zebra_cls.jpg,zebra_cls.jpg --input_img_properties Y,UV --enable_dump

会生成对应的输入/输出数据

Plain 复制代码
model_infer_input_0_data_y.bin
model_infer_input_1_data_uv.bin
model_infer_output_0_prob.bin

将两个输入。bin 数据给算法侧,请算法侧使用这两个输入去可视化 bc 模型。

3.算法侧

下面参考引言部分的文章,算法侧使用软件侧给的输入推理 hbm 模型即可,输入数据加载方式如下。

Plain 复制代码
import numpy as np

加载 bin 文件
y_bin = np.fromfile("./etc/model_infer_input_0_input_0_y.bin", dtype=np.uint8)
uv_bin = np.fromfile("./etc/model_infer_input_1_input_0_uv.bin", dtype=np.uint8)

知道具体输入形状,进行 reshape
y = y_bin.reshape((1,224,224,1))
uv = uv_bin.reshape((1,112,112,2))

inputs = {"input_0_y": y, "input_0_uv": uv}

注意:为了避免引入其他变量,此时转换编译模型时,不要删除任何节点。

推理部分代码如下:

Plain 复制代码
hbm_model = Hbm("./etc.hbm")
hbm_outputs = hbm_model[0].feed(inputs)

最后,用 hbm_outputs 走 python 的后处理与可视化即可。

4.拓展

针对更复杂的输入场景,板端使用同样的处理方式,将 hbm 模型提供给算法侧即可。

相关推荐
是main不是漫7 小时前
【快慢指针 | LeetCode202 快乐数】鸽巢原理佐证环特性,快慢指针巧解快乐数
c语言·开发语言·c++·算法
Felven7 小时前
A. Iskander and Drawings
算法
qq_3482318511 小时前
大模型算法: 反向传播
算法
电科_银尘11 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
专注仿真12 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
leobertlan14 小时前
痛苦系列 | DSP-04 截断时空的“窗”:FIR 滤波器设计与线性相位
算法
秋天的怀念_David15 小时前
算法一千零一夜 · 第三十五夜 · 恢复风暴
java·程序人生·算法
泯泷17 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
2601_9679801118 小时前
Python中heapq模块的各种用法实例
数据结构·python·算法·应用实例·heapq模块