总结
1. 为啥C++ 写AI
- C++ 是一个非常强大的编程语言，它具有非常强大的计算能力，可以处理非常大的数据集，并且可以非常快速地完成计算。
- 很多项目需要嵌入式部署，C++ 是一个非常适合的编程语言。
- C++ 可以非常快速地完成计算，并且可以非常快速地完成计算。
2. C++写AI的好处
- 计算效率高
- AI只是项目的一部分,方便集成测试
3. C++落地AI需要注意什么?
- 平台选择:ARM还是x86架构?区别还是很大的
- linux环境推荐,毕竟很多嵌入式项目是linux
- libtorch的版本与pytorch的版本需要匹配
3.1 torch.jit.trace与torch.jit.script的区别
- Tochscript:狭义概念导出图形的表示/格式;广义概念为导出模型的方法;
- (Torch)Scriptable:可以用torch.jit.script导出模型
- Traceable:可以用torch.jit.trace导出模型
什么时候用torch.jit.trace（结论：首选）
- torch.jit.trace一种导出方法;它运行具有某些张量输入的模型，并"跟踪/记录"所有执行到图形中的操作。
- 在模型内部的数据类型只有张量，且没有for if while等控制流，选择torch.jit.trace
- 支持python的预处理和动态行为；
- torch.jit.trace编译function并返回一个可执行文件，该可执行文件将使用即时编译进行优化。
- 大项目优先选择torch.jit.trace,特别是是图像检测和分割的算法；
优点
- 不会损害代码质量；
- 它的主要限制可以通过与torch.jit.script混合来解决
什么时候用torch.jit.script（结论：必要时）
- 定义:一种模型导出方法,其实编译python的模型源码,得到可执行的图;
- 在模型内部的数据类型只有张量，且没有for if while等控制流，也可以选择torch.jit.script
- 不支持python的预处理和动态行为；
- 必须做一下类型标注；
- torch.jit.script在编译function或 nn.Module 脚本将检查源代码，使用 TorchScript 编译器将其编译为 TorchScript 代码。