libtorch落地AI项目的一些总结

总结

1. 为啥C++ 写AI

1. C++ 是一个非常强大的编程语言，它具有非常强大的计算能力，可以处理非常大的数据集，并且可以非常快速地完成计算。
2. 很多项目需要嵌入式部署，C++ 是一个非常适合的编程语言。
3. C++ 可以非常快速地完成计算，并且可以非常快速地完成计算。

2. C++写AI的好处

1. 计算效率高
2. AI只是项目的一部分,方便集成测试

3. C++落地AI需要注意什么?

1. 平台选择:ARM还是x86架构?区别还是很大的
2. linux环境推荐,毕竟很多嵌入式项目是linux
3. libtorch的版本与pytorch的版本需要匹配

3.1 torch.jit.trace与torch.jit.script的区别

1. Tochscript:狭义概念导出图形的表示/格式;广义概念为导出模型的方法;
2. (Torch)Scriptable:可以用torch.jit.script导出模型
3. Traceable:可以用torch.jit.trace导出模型

什么时候用torch.jit.trace（结论：首选）

1. torch.jit.trace一种导出方法;它运行具有某些张量输入的模型，并"跟踪/记录"所有执行到图形中的操作。
2. 在模型内部的数据类型只有张量，且没有for if while等控制流，选择torch.jit.trace
3. 支持python的预处理和动态行为；
4. torch.jit.trace编译function并返回一个可执行文件，该可执行文件将使用即时编译进行优化。
5. 大项目优先选择torch.jit.trace,特别是是图像检测和分割的算法；

优点

1. 不会损害代码质量；
2. 它的主要限制可以通过与torch.jit.script混合来解决

什么时候用torch.jit.script（结论：必要时）

1. 定义:一种模型导出方法,其实编译python的模型源码,得到可执行的图;
2. 在模型内部的数据类型只有张量，且没有for if while等控制流，也可以选择torch.jit.script
3. 不支持python的预处理和动态行为；
4. 必须做一下类型标注；
5. torch.jit.script在编译function或 nn.Module 脚本将检查源代码，使用 TorchScript 编译器将其编译为 TorchScript 代码。