Jetson-XAVIAR NX 上编译tensorflow-lite

tensorflow-lite 是tensorflow 支持的可以在端侧部署的工具,可以在端侧做训练和推理,同时也无需用户上传自己的敏感数据,当把tensorflow 的模型转换成tensorflow-lite 之后,下一步就是要在指定平台上做tensorflow-lite的集成,tensorflow-lite支持Android, IOS 和arm 系列的嵌入式板子,下面是在arm 上编译tensorflow-lite的过程

参考链接:https://www.tensorflow.org/lite/guide/build_cmake

安装第三方库:

  • absl-cpp: abseil / C++ Quickstart With CMake

  • eigen3: sudo apt install eigen3-dev

  • flatbuffer:

  • gemmlowp:

    1. 放到tensorflow 的third_party 下面
  • ruy:

    1. Git clone xxx
    2. 把cpuinfo 放到third_party 目录下
    3. Cmake ..
    4. Make
    5. Make install
  • NEON_2_SSL

    1. 这个不用考虑
  • 编译tensorflow-lite

    1. Mkdir tflite-build
    2. Cd tflite_build
    复制代码
       cmake ../tensorflow/lite -DTFLITE_ENABLE_INSTALL=ON \
    
         -DCMAKE_FIND_PACKAGE_PREFER_CONFIG=ON \
    
         -DSYSTEM_FARMHASH=ON \
    
         -DSYSTEM_PTHREADPOOL=ON 

错误信息

-DTFLITE_ENABLE_GPU=ON # 这个地方enable gpu 之后会报错, 这里是为了让tensorflow-lite 在支持OPENCI 的情况下,用openci 代理去提供类似GPU的优化加速,由于Jetson 自带GPU,所以这里无需指定

相关推荐
Juchecar3 分钟前
如何理解“AI token 大宗商品化”?
人工智能
文火冰糖的硅基工坊4 分钟前
[人工智能-大模型-29]:大模型应用层技术栈 - 第二层:Prompt 编排层(Prompt Orchestration)
人工智能·大模型·prompt·copilot
大模型真好玩7 分钟前
LangGraph实战项目:从零手搓DeepResearch(三)——LangGraph多智能体搭建与部署
人工智能·langchain·mcp
飞哥数智坊10 分钟前
DeepSeek-OCR:用“看图”代替“读文”,一种更像人类的上下文压缩方式
人工智能·deepseek
Python图像识别23 分钟前
73_基于深度学习的水面漂浮垃圾检测系统(yolo11、yolov8、yolov5+UI界面+Python项目源码+模型+标注好的数据集)
python·深度学习·yolo
L.fountain24 分钟前
强化学习2.2 MDP实践——Frozen lake
人工智能·强化学习
JJJJ_iii29 分钟前
【机器学习06】神经网络的实现、训练与向量化
人工智能·笔记·深度学习·神经网络·学习·机器学习·线性回归
倔强的石头10632 分钟前
AI协作天花板!CherryStudio让多模型协同像搭积木
人工智能·cpolar
IT_陈寒33 分钟前
Vite 3.0 性能优化实战:5个技巧让你的构建速度提升200% 🚀
前端·人工智能·后端
mit6.82442 分钟前
[tile-lang] 语言接口 | `T.prim_func` & `@tilelang.jit` | 底层原理
python