骁龙大赛-技术分享第5期(上)在 QAI AppBuilder 中部署模型时,哪些情况会导致模型“不兼容”?如何判断模型能否在 NPU 上运行? 答复:没有“不兼容模型”这种说法,理论上所有能够通过TensorFlow,PyTorch 或 ONNX Runtime推理的模型,都可以转换成 QNN 上下文二进制格式并运行在NPU上的。 大家容易遇到的比较难处理的问题通常不是模型能不能转换,不是模型能不能跑在NPU上,难点在于如何把模型量化成更小的精度的模型并且能够保证精度不会损失过多。量化成更小的精度意味着可以占用更小的内存,运行更快,