联发科MT8666-NNAPI移植

1、adb常用指令

python 复制代码
adb --s [device] push src dst
adb --s [device] shell
adb --s [device] pull src dst

2、模型适配过程中onnx模型修改

#加载ONNX模型

model = onnx.load("test.onnx")

#保存ONNX模型
onnx.save(model, 'save_path.onnx')

#OP节点列表,是List, 可以增删改查
model.graph.node

#输入节点名称
model.graph.input

#输出节点名称
model.graph.output

#参数节点
model.graph.initializer
for tensor in model.graph.initializer:
if tensor.name == "attrinet.conv_2_dw.conv.bias":
tensor.raw_data = np.ones([16], dtype=np.int32).tobytes()

#改变任意OP名称或者属性
model.graph.node[0].name= '自定义'
model.graph.node[0].op_type= '自定义'
#改变输入的batch,例如 1x100x100x3 -> 1x3x100x100
model.graph.input[0].type.tensor_type.shape.dim[1].dim_value=3

#也可以采用下面方法创建新的节点插入
model.graph.input[0].type.tensor_type.shape.dim[3].dim_value=100
#改变输入的类型,详情参见GitHub onnx/onnx/onnx-ml.proto TensorProto DataType枚举,1--float 2--uint8 3--int8 7--int64
model.graph.input[0].type.tensor_type.elem_type=3
#ONNX模型采用tensor与node(op)将整个网络构建起来,node中输入输出为tensor的名称,用来连接各个tensor,中间的节点tensor不用创建,网络的输入输出节点需要创建tensor。Tensor常用的2种创建方法,样例如下:
(1) onnx.helper.make_tensor_value_info(name=output, elem_type=type, shape=[]), #仅根据形状创建,用于输入输出节点
onnx.helper.make_tensor_value_info("out_1", TensorProto.FLOAT, [1,3,224]),

(2) onnx.helper.make_tensor(name='const_tensor', data_type, dims=values.shape, vals=values.flatten()),#根据numpy数据创建

#构建OP节点,
conv_node = onnx.helper.make_node(op_type='Conv2dInt', inputs=input_names, outputs=output_names, name='Conv2dInt_1', **attribute)
input_names、output_names 是字符串数组,为tensor的名称,例如:input_names=['name1', 'name2']
attribute是字典,如:
attribute = {
"data_bits": xxx,
"group": xxx,
"scale_o": xxx,
...
}

#增加OP节点
model.graph.node.append(conv_node)
model.graph.node.insert(insert_pos, conv_node)
#增加输入、输出tensor节点
output_node = onnx.helper.make_tensor_value_info("out_1", TensorProto.FLOAT, [1,3,224])
model.graph.output.append(output_node) // or input
#增加参数节点
conv_node_bias = onnx.numpy_helper.from_array(bias_data, name="conv_node_bias_name")
model.graph.initializer.append(conv_node_bias)
其中bias_data可从原conv节点取得:
bias_name = node.input[2]
for data in module.graph.initializer:
if data.name == bias_name:
bias_data = onnx.numpy_helper.to_array(data)

#特殊节点-constant增加,data_type参见GitHub onnx/onnx/onnx-ml.proto TensorProto DataType枚举
value=onnx.helper.make_tensor(name='const_tensor', data_type=1, dims=numpy_data.shape, vals=numpy_data.flatten())
constant_node = onnx.helper.make_node(op_type='Constant', inputs=[], outputs=[output_name], name='constant1', value = value)

#读取ONNX的参数tensor格式,转换为numpy
#constant节点:
onnx.numpy_helper.to_array(onnx_node.attribute[0].t)
constant_value = onnx_node.attribute[0].t.raw_data
dims = onnx_node.attribute[0].t.dims
dtype = onnx_node.attribute[0].t.data_type

#initialize的参数:
onnx.numpy_helper.to_array(params)
特别数值,若数值为1个数,则导出的非numpy格式,也是一个数值

#获取节点数量
def getNodeNum(model):
return len(model.graph.node)

#获取节点类型
def getNodetype(model):
op_name = []
for i in range(len(model.graph.node)):
if model.graph.node[i].op_type not in op_name:
op_name.append(model.graph.node[i].op_type)
return op_name

#获取节点名列表
def getNodeNameList(model):
NodeNameList = []
for i in range(len(model.graph.node)):
NodeNameList.append(model.graph.node[i].name)
return NodeNameList

#获取模型的输入信息
def getModelInputInfo(model):
return model.graph.input[0]

#获取模型的输出信息
def getModelOutputInfo(model):
return model.graph.output[0]

#Xlite指定位置切子图
xlite/tools/xlite/layout_convert/layout_convert.py line 170:
if node.name in['node_name'] //node_name以后将会被切掉

#debug看子图信息的地方
xlite/tools/xlite/packer/nnapi.py line 213:
graph, max_sub_graph = _get_layout_optimizer(g, config['layout_out'])

#升维、降维
unsqueeze、squeeze

3、Mtk8666 android npu模型

a、打包报错:

RuntimeError:This is an invalid model. Error in Node:OnnxInferDeQuant-814_815:No Op registered for OnnxInferDeQuant with domain_verion of 12

原因:domain位置不对,需要更新模型

b、引擎效率获取命令:

cat log/xxx.log |grep average

4、引擎集成

摄像头规格:

图像格式:gray

图像大小:640*480

帧率:30fps

8666平台: 8核

a、集成过程

(1) 只需要视觉DMS,其他不需要

(2) 使用MTK8666配置文件 MTK8666.json

(3) 拷贝npu版本库里的模型及库文件至工程

(4) 编译部署:build_android.bat → delivery.bat

(5)摄像头无法获取图像而导致卡住的问题已提相关同事处理。

b、车机部署

(1) target部署至/data/local/tmp/bin下

(2) 车机需要联网(引擎需要权限)

(3) 需要先运行Carcorder APK,再运行DMS APK

c、运行

#su
#cd /data/local/tmp/bin/
#./test.sh
相关推荐
龙鸣丿1 小时前
Linux基础学习笔记
linux·笔记·学习
一点媛艺2 小时前
Kotlin函数由易到难
开发语言·python·kotlin
姑苏风2 小时前
《Kotlin实战》-附录
android·开发语言·kotlin
qzhqbb2 小时前
基于统计方法的语言模型
人工智能·语言模型·easyui
耶啵奶膘2 小时前
uniapp-是否删除
linux·前端·uni-app
冷眼看人间恩怨3 小时前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041083 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
魔道不误砍柴功3 小时前
Java 中如何巧妙应用 Function 让方法复用性更强
java·开发语言·python
_.Switch3 小时前
高级Python自动化运维:容器安全与网络策略的深度解析
运维·网络·python·安全·自动化·devops
2401_850410833 小时前
文件系统和日志管理
linux·运维·服务器