constant tensor

Arnold-FY-Chen6 小时前
tensorrt·mismatched type·constant tensor·setprecision
模型部分量化后用tensorrt转换engine时遇到的问题模型的python版本推理效果很好，但是导出onnx并用tensorrt解析转换(做了FP16量化)成engine后推理效果稀烂的，输出无数个得分很低且不正确的目标，判断可能是做了FP16量化后模型内部某些地方数据因为精度不够发生了溢出，仔细检查代码，将模型网络里高度可疑的模块及其出入关联部分强制不做FP16量化：
我是有底线的