Jetson Orin 安装 onnxruntime

onnxruntime在Jetson上安装只需注意三件事： 版本！ 版本！ 还是TMD版本！

本机环境

Jectpack : 5.1.2
CUDA : 11.4
cuDNN ：8.6.0

版本说明

关于onnxruntime的版本适配不同的官方有不同的推荐

英伟达jetson zoo提供了onnxruntime的预编译版本，版本号是根据Jetpack的版本号来选择onnxruntime，这里推荐的是1.17.0和1.18.0
onnxruntime官方是根据CUDA版本推荐的，这里推荐的是1.11和1.12

这里二者推荐的版本很矛盾，因此综上所述，我们选择的版本是1.16.0 😃 因为前面几个版本测试安装都有问题

1、安装准备

Jetson zoo虽然有onnxruntime的预编译版本，但是是python版本的，没有c++部署需要的头文件和动态库，所以推荐源码安装编译。

首先需要临时声明一些环境变量

复制代码

sudo apt-get install protobuf-compiler libprotoc-dev
 
export PATH=/usr/local/cuda/bin:${PATH}
export CUDA_PATH=/usr/local/cuda
export cuDNN_PATH=/usr/lib/aarch64-linux-gnu
export CMAKE_ARGS="-DONNX_CUSTOM_PROTOC_EXECUTABLE=/usr/bin/protoc"

2、源码下载

源码下载，最好直接用git clone，而不是去github下载对应版本的程序，因为build.sh好像需要git的仓库，为了不必要的麻烦直接gitclone

复制代码

git clone --recursive https://github.com/Microsoft/onnxruntime.git

--recursive 递归子库

切换版本号

复制代码

git checkout v1.16.0

更新子仓库

复制代码

git submodule update --init --recursive --progress

NOTICE1:

这一步可能会遇到如下错误

does not match expected value

expected: 'ee201b07085203ea7bd8eb97cbcb31b07cfa3efb'

actual: '5b3adeb17e87b1a6f6a716b2c462f44b5aa01713'

-- Hash mismatch, removing...

导致程序卡在eigen这个库反复下载

出现此问题的原因是git下来的eigen库哈希值与期望的哈希值不一致，即使手动下载此库也会这样。目前不清楚expected的哈希值为什么与给出链接的不同，可能是版本问题。

找到 ./onnxruntime/cmake/external路径下的eigen.cmake文件，在文件开始强制修改期望的哈希值为下载的版本，这里举例我的是

复制代码

set(DEP_SHA1_eigen "5b3adeb17e87b1a6f6a716b2c462f44b5aa01713")

NOTICE2:

可能会遇到这个错误，由于丢失记不清哪个错误了，总之就会卡住一会，网络错误，多试几遍就好

ontent.cmake:2145:EVAL:2 (__FetchContent_doPopulation) /usr/local/cmake/share/cmake-3.31/Modules/FetchContent.cmake:2145 (cmake_language) /usr/local/cmake/share/cmake-3.31/Modules/FetchContent.cmake:1978:EVAL:1 (__FetchContent_Populate) /usr/local/cmake/share/cmake-3.31/Modules/FetchContent.cmake:1978 (cmake_language) external/eigen.cmake:12 (FetchContent_Populate) external/onnxruntime_external_deps.cmake:483 (include) CMakeLists.txt:586 (include) -

3、编译

复制代码

cd ./onnnxruntime
./build.sh --config Release --update --build --parallel --build_shared_lib --build_wheel --use_cuda --cuda_home /usr/local/cuda --cudnn_home /usr/lib/aarch64-linux-gnu

--build_shared_lib生成动态库 --use_cuda使用cuda --parallel多线程编译

编译完成标志

复制代码

...
build [INFO] - Build complete

4、安装

复制代码

cd ./build/Linux/Release
sudo make install

安装完成后动态库 libonnxruntime.so 在/usr/local/lib里

头文件在/usr/local/include/onnxruntime里

5、异常分析

ImportError: cannot import name 'FileError' from 'setuptools.errors'

遇到这个问题可能是setuptools版本问题，检查更新并安装依赖库
复制代码
```
python3 -m venv onnxruntime-env
source onnxruntime-env/bin/activate
pip install --upgrade pip setuptools
pip install -r /mnt/cf/wk_test/onnxruntime/requirements.txt
```
然后重新编译

5、其他版本

随手记录下其他版本安装中遇到的问题，以供参考和复盘

v1.17.0 / v1.18.0
首先报错

CMake Error at CMakeLists.txt:647 (message): The compiler doesn't support BFLOAT16!!!

此报错为gcc-9版本不支持BFLOAT16类型，需要升级到gcc-10版本

然后遇到报错

复制代码

error: This file was generated by an older version of protoc which is incompatible with your Protocol Buffer headers.

这个错误是在编译时源码报的错，错误表明 ‌Protocol Buffer（protoc）版本不兼容‌，导致生成的 onnx-ml.pb.h 文件与当前系统安装的 protobuf 头文件冲突，直接放弃

v1.16.3
1.16.3在编译时可以通过，但是在编译后的test测试会报错

----------] Global test environment tear-down [==========] 4119 tests from 289 test suites ran. (344132 ms total)
[ PASSED ] 4110 tests.
[ SKIPPED ] 6 tests, listed below:
[ SKIPPED ] AttentionTest.AttentionPastState_dynamic [ SKIPPED ] AttentionTest.Attention_Mask2D_Fp32_B2_S32
[ SKIPPED ] AttentionTest.Attention_Mask1D_Fp32_B2_S64 [ SKIPPED ] AttentionTest.Attention_NoMask_Fp16
[ SKIPPED ] MatMulFpQ4.MatMul2DSym
[ SKIPPED ] MatMulFpQ4.MatMul2DBlkZp
[ FAILED ] 3 tests, listed below:
[ FAILED ] MultiHeadAttentionTest.CrossAttention_Batch2_HeadSize32_NoBias_NoMask_PackedKV
[ FAILED ] MultiHeadAttentionTest.SelfAttention_Batch2_HeadSize32_NoBias_NoMask_PackedQKV
[ FAILED ] QuantizeLinearOpMLFloat16Test.Float8 3
FAILED TESTS YOU HAVE 9 DISABLED TESTS <end of output> Test time = 344.85 sec ----------------------------------------------------------
Test Failed. "onnxruntime_test_all"

搜索后可能是注意力机制和量化模块有问题,解决了之后又报

复制代码

packed KV format is not implemented for current GPU. Please disable packed kv in fusion options‌

此问题属于 ONNX Runtime 对特定 GPU 架构的算子支持不完整，因此放弃了此版本。

v1.12.0
编译时总是遇到 undefined reference to `libiconv_close' 这个错误，但是已经安装了libiconv库，并且export临时声明了库的地址，试过了很多方法还是报错，放弃。

6、部署问题

部署到c++程序编译时可能会报错依赖 re.so.9 这个库

安装一下

复制代码

wget https://github.com/google/re2/archive/refs/tags/2022-06-01.tar.gz
tar -zxvf 2022-06-01.tar.gz
cd re2-2022-06-01/
sudo make
sudo make install

动态库文件在/usr/local/lib里