联发科MT8666-NNAPI移植

1、adb常用指令

python 复制代码
adb --s [device] push src dst
adb --s [device] shell
adb --s [device] pull src dst

2、模型适配过程中onnx模型修改

#加载ONNX模型

model = onnx.load("test.onnx")

#保存ONNX模型
onnx.save(model, 'save_path.onnx')

#OP节点列表,是List, 可以增删改查
model.graph.node

#输入节点名称
model.graph.input

#输出节点名称
model.graph.output

#参数节点
model.graph.initializer
for tensor in model.graph.initializer:
if tensor.name == "attrinet.conv_2_dw.conv.bias":
tensor.raw_data = np.ones([16], dtype=np.int32).tobytes()

#改变任意OP名称或者属性
model.graph.node[0].name= '自定义'
model.graph.node[0].op_type= '自定义'
#改变输入的batch,例如 1x100x100x3 -> 1x3x100x100
model.graph.input[0].type.tensor_type.shape.dim[1].dim_value=3

#也可以采用下面方法创建新的节点插入
model.graph.input[0].type.tensor_type.shape.dim[3].dim_value=100
#改变输入的类型,详情参见GitHub onnx/onnx/onnx-ml.proto TensorProto DataType枚举,1--float 2--uint8 3--int8 7--int64
model.graph.input[0].type.tensor_type.elem_type=3
#ONNX模型采用tensor与node(op)将整个网络构建起来,node中输入输出为tensor的名称,用来连接各个tensor,中间的节点tensor不用创建,网络的输入输出节点需要创建tensor。Tensor常用的2种创建方法,样例如下:
(1) onnx.helper.make_tensor_value_info(name=output, elem_type=type, shape=[]), #仅根据形状创建,用于输入输出节点
onnx.helper.make_tensor_value_info("out_1", TensorProto.FLOAT, [1,3,224]),

(2) onnx.helper.make_tensor(name='const_tensor', data_type, dims=values.shape, vals=values.flatten()),#根据numpy数据创建

#构建OP节点,
conv_node = onnx.helper.make_node(op_type='Conv2dInt', inputs=input_names, outputs=output_names, name='Conv2dInt_1', **attribute)
input_names、output_names 是字符串数组,为tensor的名称,例如:input_names=['name1', 'name2']
attribute是字典,如:
attribute = {
"data_bits": xxx,
"group": xxx,
"scale_o": xxx,
...
}

#增加OP节点
model.graph.node.append(conv_node)
model.graph.node.insert(insert_pos, conv_node)
#增加输入、输出tensor节点
output_node = onnx.helper.make_tensor_value_info("out_1", TensorProto.FLOAT, [1,3,224])
model.graph.output.append(output_node) // or input
#增加参数节点
conv_node_bias = onnx.numpy_helper.from_array(bias_data, name="conv_node_bias_name")
model.graph.initializer.append(conv_node_bias)
其中bias_data可从原conv节点取得:
bias_name = node.input[2]
for data in module.graph.initializer:
if data.name == bias_name:
bias_data = onnx.numpy_helper.to_array(data)

#特殊节点-constant增加,data_type参见GitHub onnx/onnx/onnx-ml.proto TensorProto DataType枚举
value=onnx.helper.make_tensor(name='const_tensor', data_type=1, dims=numpy_data.shape, vals=numpy_data.flatten())
constant_node = onnx.helper.make_node(op_type='Constant', inputs=[], outputs=[output_name], name='constant1', value = value)

#读取ONNX的参数tensor格式,转换为numpy
#constant节点:
onnx.numpy_helper.to_array(onnx_node.attribute[0].t)
constant_value = onnx_node.attribute[0].t.raw_data
dims = onnx_node.attribute[0].t.dims
dtype = onnx_node.attribute[0].t.data_type

#initialize的参数:
onnx.numpy_helper.to_array(params)
特别数值,若数值为1个数,则导出的非numpy格式,也是一个数值

#获取节点数量
def getNodeNum(model):
return len(model.graph.node)

#获取节点类型
def getNodetype(model):
op_name = []
for i in range(len(model.graph.node)):
if model.graph.node[i].op_type not in op_name:
op_name.append(model.graph.node[i].op_type)
return op_name

#获取节点名列表
def getNodeNameList(model):
NodeNameList = []
for i in range(len(model.graph.node)):
NodeNameList.append(model.graph.node[i].name)
return NodeNameList

#获取模型的输入信息
def getModelInputInfo(model):
return model.graph.input[0]

#获取模型的输出信息
def getModelOutputInfo(model):
return model.graph.output[0]

#Xlite指定位置切子图
xlite/tools/xlite/layout_convert/layout_convert.py line 170:
if node.name in['node_name'] //node_name以后将会被切掉

#debug看子图信息的地方
xlite/tools/xlite/packer/nnapi.py line 213:
graph, max_sub_graph = _get_layout_optimizer(g, config['layout_out'])

#升维、降维
unsqueeze、squeeze

3、Mtk8666 android npu模型

a、打包报错:

RuntimeError:This is an invalid model. Error in Node:OnnxInferDeQuant-814_815:No Op registered for OnnxInferDeQuant with domain_verion of 12

原因:domain位置不对,需要更新模型

b、引擎效率获取命令:

cat log/xxx.log |grep average

4、引擎集成

摄像头规格:

图像格式:gray

图像大小:640*480

帧率:30fps

8666平台: 8核

a、集成过程

(1) 只需要视觉DMS,其他不需要

(2) 使用MTK8666配置文件 MTK8666.json

(3) 拷贝npu版本库里的模型及库文件至工程

(4) 编译部署:build_android.bat → delivery.bat

(5)摄像头无法获取图像而导致卡住的问题已提相关同事处理。

b、车机部署

(1) target部署至/data/local/tmp/bin下

(2) 车机需要联网(引擎需要权限)

(3) 需要先运行Carcorder APK,再运行DMS APK

c、运行

#su
#cd /data/local/tmp/bin/
#./test.sh
相关推荐
豌豆花下猫几秒前
Python 潮流周刊#78:async/await 是糟糕的设计(摘要)
后端·python·ai
小白也想学C几秒前
Android 功耗分析(底层篇)
android·功耗
只因在人海中多看了你一眼3 分钟前
python语言基础
开发语言·python
deephub6 分钟前
使用 PyTorch-BigGraph 构建和部署大规模图嵌入的完整教程
人工智能·pytorch·深度学习·图嵌入
曙曙学编程7 分钟前
初级数据结构——树
android·java·数据结构
小技与小术11 分钟前
数据结构之树与二叉树
开发语言·数据结构·python
hummhumm37 分钟前
第 25 章 - Golang 项目结构
java·开发语言·前端·后端·python·elasticsearch·golang
哎呦喂-ll38 分钟前
Linux进阶:环境变量
linux
deephub38 分钟前
优化注意力层提升 Transformer 模型效率:通过改进注意力机制降低机器学习成本
人工智能·深度学习·transformer·大语言模型·注意力机制