NVIDIA Jetson 环境安装指导 PyTorch | Conda | cudnn | docker

本文适用于Jetson Nano、TX1/TX2、Xavier 和 Orin系列的设备,供大家参考。

1、PyTorch不同版本安装

这里适用于Jetson Nano、TX1/TX2、Xavier 和 Orin ,需要JetPack 4.2以上。

下载地址:PyTorch for Jetson - Jetson & Embedded Systems / Announcements - NVIDIA Developer Forums

这些pip wheel 是为 ARM aarch64 架构构建的,下载后是一个xxx.whl文件

然后用 pip install xxx.whl 进行安装就可以啦~

比如安装torch 2.3,可以选择两个版本(CUDA12.2、或者CUDA12.4)

需要注意的是 JetPack对应的版本是6,才能安装torch 2.3

如果上面网址中没找到最新的torch版本

请参考下面的网址:

https://pypi.jetson-ai-lab.dev/

比如,系统的CUDA版本是12.6的,点击进去进行查找

然后搜索一个关键字,比如"torch"就可以下载啦

2、Jetson 安装 Conda

(推荐)清华源下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

选择aarch64架构的,然后下载运行安装就可以啦~

或者去官网下载,也是可以的https://www.anaconda.com/download/success

3、适用于Jetson的AI容器

开源地址:https://github.com/dusty-nv/jetson-containers/tree/master

通过构建docker,为 NVIDIA Jetson 🚀🤖 提供最新的 AI/ML 软件包

下面是一些主流的模型和框架,完整列表可以参阅 packages 目录

| |
|--------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| ML | pytorch tensorflow jax onnxruntime deepstream holoscan CTranslate2 JupyterLab |
| LLM | SGLang vLLM MLC AWQ transformers text-generation-webui ollama llama.cpp llama-factory exllama AutoGPTQ FlashAttention DeepSpeed bitsandbytes xformers |
| VLM | llava llama-vision VILA LITA NanoLLM ShapeLLM Prismatic xtuner |
| VIT | NanoOWL NanoSAM Segment Anything (SAM) Track Anything (TAM) clip_trt |
| RAG | llama-index langchain jetson-copilot NanoDB FAISS RAFT |
| L4T | l4t-pytorch l4t-tensorflow l4t-ml l4t-diffusion l4t-text-generation |
| CUDA | cupy cuda-python pycuda numba opencv:cuda cudf cuml |
| Robotics | Cosmos Genesis ROS LeRobot OpenVLA 3D Diffusion Policy Crossformer MimicGen OpenDroneMap ZED |
| Graphics | stable-diffusion-webui comfyui nerfstudio meshlab pixsfm gsplat |
| Mamba | mamba mambavision cobra dimba videomambasuite |
| Speech | whisper whisper_trt piper riva audiocraft voicecraft xtts |
| Home/IoT | homeassistant-core wyoming-whisper wyoming-openwakeword wyoming-piper |

下面是一些示例demo:

在 NVIDIA Jetson AGX Orin 上使用 LLaVA-1.5 13B 进行多模态语音聊天(容器:NanoLLM

在 NVIDIA Jetson AGX Orin 上与 Llama-2-70B 进行交互式语音聊天(容器:NanoLLM)

NVIDIA Jetson 上的实时多模态 VectorDB(容器:nanodb)

Live Llava 2.0 - Jetson Orin 上的 VILA + 多模态 NanoDB(容器:NanoLLM

4、Jetson 部署推理

开源地址:https://github.com/dusty-nv/jetson-inference?tab=readme-ov-file

该项目使用 TensorRT 在 C++ 或 Python 的 GPU 上运行优化网络,并使用 PyTorch 训练模型。

支持的 DNN 视觉基元包括用于图像分类的 imageNet、用于对象检测的 detectNet、用于语义分割的 segNet、用于姿势估计的 poseNet 和用于动作识别的 actionNet

提供了从实时摄像机源进行流式传输、使用 WebRTC 制作 Web 应用程序以及支持 ROS/ROS2 的示例。

下面是不同视觉任务的推理代码参考文档:

| C++ | Python |
|---------------------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------|
| Image Recognition | imageNet | imageNet |
| Object Detection | detectNet | detectNet |
| Segmentation | segNet | segNet |
| Pose Estimation | poseNet | poseNet |
| Action Recognition | actionNet | actionNet |
| Background Removal | backgroundNet | actionNet |
| Monocular Depth | depthNet | depthNet |

PS:有其他的问题可以先在论坛查找,基本能解决大部分问题

https://forums.developer.nvidia.com/

分享完成~

相关推荐
逐云者12315 小时前
AI创业公司:来牟科技-智能割草机器人
人工智能·科技·机器人·智能割草机器人
taxunjishu15 小时前
CC-Link IE FB 转 DeviceNet 实现欧姆龙 PLC 与松下机器人在 SMT 生产线锡膏印刷环节的精准定位控制
运维·人工智能·物联网·自动化·区块链
茫茫人海一粒沙15 小时前
让语言模型自我进化:探索 Self-Refine 的迭代反馈机制
人工智能
富唯智能15 小时前
复合机器人能否更换末端执行器?
人工智能·工业机器人·复合机器人
小杨互联网16 小时前
如何确保 ChatGPT 不会让你变“傻”?——四个防止认知萎缩的习惯
人工智能·chatgpt
AMiner:AI科研助手16 小时前
警惕!你和ChatGPT的对话,可能正在制造分布式妄想
人工智能·分布式·算法·chatgpt·deepseek
飞机火车巴雷特17 小时前
【论文阅读】LightThinker: Thinking Step-by-Step Compression (EMNLP 2025)
论文阅读·人工智能·大模型·cot
张较瘦_17 小时前
[论文阅读] 人工智能 + 软件工程 | ReCode:解决LLM代码修复“贵又慢”!细粒度检索+真实基准让修复准确率飙升
论文阅读·人工智能·软件工程
万岳科技程序员小金19 小时前
餐饮、跑腿、零售多场景下的同城外卖系统源码扩展方案
人工智能·小程序·软件开发·app开发·同城外卖系统源码·外卖小程序·外卖app开发
桐果云19 小时前
解锁桐果云零代码数据平台能力矩阵——赋能零售行业数字化转型新动能
大数据·人工智能·矩阵·数据挖掘·数据分析·零售