libtorch落地AI项目的一些总结

总结

1. 为啥C++ 写AI

  1. C++ 是一个非常强大的编程语言,它具有非常强大的计算能力,可以处理非常大的数据集,并且可以非常快速地完成计算。
  2. 很多项目需要嵌入式部署,C++ 是一个非常适合的编程语言。
  3. C++ 可以非常快速地完成计算,并且可以非常快速地完成计算。

2. C++写AI的好处

  1. 计算效率高
  2. AI只是项目的一部分,方便集成测试

3. C++落地AI需要注意什么?

  1. 平台选择:ARM还是x86架构?区别还是很大的
  2. linux环境推荐,毕竟很多嵌入式项目是linux
  3. libtorch的版本与pytorch的版本需要匹配

3.1 torch.jit.trace与torch.jit.script的区别

  1. Tochscript:狭义概念导出图形的表示/格式;广义概念为导出模型的方法;
  2. (Torch)Scriptable:可以用torch.jit.script导出模型
  3. Traceable:可以用torch.jit.trace导出模型
什么时候用torch.jit.trace(结论:首选)
  1. torch.jit.trace一种导出方法;它运行具有某些张量输入的模型,并"跟踪/记录"所有执行到图形中的操作。
  2. 在模型内部的数据类型只有张量,且没有for if while等控制流,选择torch.jit.trace
  3. 支持python的预处理和动态行为;
  4. torch.jit.trace编译function并返回一个可执行文件,该可执行文件将使用即时编译进行优化。
  5. 大项目优先选择torch.jit.trace,特别是是图像检测和分割的算法;
优点
  1. 不会损害代码质量;
  2. 它的主要限制可以通过与torch.jit.script混合来解决
什么时候用torch.jit.script(结论:必要时)
  1. 定义:一种模型导出方法,其实编译python的模型源码,得到可执行的图;
  2. 在模型内部的数据类型只有张量,且没有for if while等控制流,也可以选择torch.jit.script
  3. 不支持python的预处理和动态行为;
  4. 必须做一下类型标注;
  5. torch.jit.script在编译function或 nn.Module 脚本将检查源代码,使用 TorchScript 编译器将其编译为 TorchScript 代码。
相关推荐
飞哥数智坊2 小时前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三3 小时前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯3 小时前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet5 小时前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算6 小时前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心6 小时前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
Juchecar7 小时前
交叉熵:深度学习中最常用的损失函数
人工智能
林木森ai7 小时前
爆款AI动物运动会视频,用Coze(扣子)一键搞定全流程(附保姆级拆解)
人工智能·aigc
聚客AI8 小时前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm
BeerBear9 小时前
【保姆级教程-从0开始开发MCP服务器】一、MCP学习压根没有你想象得那么难!.md
人工智能·mcp