Jetson-XAVIAR NX 上编译tensorflow-lite

tensorflow-lite 是tensorflow 支持的可以在端侧部署的工具,可以在端侧做训练和推理,同时也无需用户上传自己的敏感数据,当把tensorflow 的模型转换成tensorflow-lite 之后,下一步就是要在指定平台上做tensorflow-lite的集成,tensorflow-lite支持Android, IOS 和arm 系列的嵌入式板子,下面是在arm 上编译tensorflow-lite的过程

参考链接:https://www.tensorflow.org/lite/guide/build_cmake

安装第三方库:

  • absl-cpp: abseil / C++ Quickstart With CMake

  • eigen3: sudo apt install eigen3-dev

  • flatbuffer:

  • gemmlowp:

    1. 放到tensorflow 的third_party 下面
  • ruy:

    1. Git clone xxx
    2. 把cpuinfo 放到third_party 目录下
    3. Cmake ..
    4. Make
    5. Make install
  • NEON_2_SSL

    1. 这个不用考虑
  • 编译tensorflow-lite

    1. Mkdir tflite-build
    2. Cd tflite_build
    复制代码
       cmake ../tensorflow/lite -DTFLITE_ENABLE_INSTALL=ON \
    
         -DCMAKE_FIND_PACKAGE_PREFER_CONFIG=ON \
    
         -DSYSTEM_FARMHASH=ON \
    
         -DSYSTEM_PTHREADPOOL=ON 

错误信息

-DTFLITE_ENABLE_GPU=ON # 这个地方enable gpu 之后会报错, 这里是为了让tensorflow-lite 在支持OPENCI 的情况下,用openci 代理去提供类似GPU的优化加速,由于Jetson 自带GPU,所以这里无需指定

相关推荐
神奇小汤圆3 分钟前
LLM 记忆系统:从 Markdown 知识库到 Self-Governing Repo
人工智能
黑暗森林观察者20 分钟前
Gemini 3.5 Flash 把"操作电脑"塞进了模型——AI从"能说"到"能动手"
人工智能·gemini
埃菲尔铁桶21 分钟前
我和大模型一起做了个本地知识库——用户也是我和大模型
人工智能·ai编程
To_OC23 分钟前
跑通一遍 Tool Call 后,我终于搞懂大模型是怎么调用工具的
人工智能·aigc·agent
Mintimate1 小时前
用 EdgeOne Makers 构建与托管 Agent:从 RAG 检索到智能助手
人工智能·agent
早点睡啊2 小时前
精读 LangChain 官方文档(二)Model 篇:把模型调用升级成工程化推理接口
人工智能·langchain
vivo互联网技术4 小时前
未来,什么才是 AI“正确的使用方式”
人工智能·ai编程
甲维斯4 小时前
豆包Seed2.1Pro编程能力测试!
人工智能·ai编程
Zy宇5 小时前
从养 OpenClaw 到养社区 AI:一套 Multi-Agent 社区的设计思路
人工智能·ai