目录
- [一、Jetson Thor 的"显存"是多少？](#一、Jetson Thor 的“显存”是多少？)
- 二、实际可用显存
- 三、与普通GPU显存区别（非常重要）
-
-
- [1 统一内存](#1 统一内存)
- [2 带宽差异](#2 带宽差异)
-
- [四、Jetson Thor 能跑多大的模型？](#四、Jetson Thor 能跑多大的模型？)
- 五、真实开发中显存分配
- [六、Jetson Thor 的核心优势](#六、Jetson Thor 的核心优势)
在 NVIDIA Jetson Thor 上，显存的概念和普通 GPU（比如 RTX4090）不完全一样，需要注意两个关键点。
一、Jetson Thor 的"显存"是多少？
Jetson Thor 使用 统一内存（Unified Memory） ，CPU 和 GPU 共享同一块内存。
最大配置：
- 128 GB LPDDR5X 内存
- 带宽约 273 GB/s (electronicdesign.com)
也就是说：
CPU RAM + GPU VRAM = 同一块128GB内存所以理论上：
GPU最多可以使用接近 128GB 的显存。
二、实际可用显存
实际开发中：
系统 + CUDA + 程序也会占用内存。
通常可用大约：
| 总内存 | 实际AI可用 |
|---|---|
| 128GB | 100--120GB |
| 64GB版本 | 50--60GB |
例如 NVIDIA 官方 CUDA 查询示例显示：
Total amount of global memory: 125772 MB大约 123GB GPU可用内存 。 (NVIDIA Docs)
三、与普通GPU显存区别（非常重要）
| 设备 | 显存类型 | 显存 |
|---|---|---|
| RTX4090 | GDDR6X | 24GB |
| A100 | HBM | 80GB |
| Jetson Thor | LPDDR5X（共享） | 128GB |
关键区别：
1 统一内存
Jetson：
CPU和GPU共享普通GPU：
CPU RAM ≠ GPU VRAM2 带宽差异
| GPU | 带宽 |
|---|---|
| RTX4090 | ~1000 GB/s |
| A100 | ~2000 GB/s |
| Jetson Thor | ~273 GB/s |
所以：
容量大，但带宽较低。
这也是 Jetson 适合推理，不适合训练的原因。
四、Jetson Thor 能跑多大的模型？
大致参考：
| 模型 | 能否运行 |
|---|---|
| 7B LLM | 轻松 |
| 13B | 没问题 |
| 34B | 可以 |
| 70B | 量化后可以 |
很多人用 Thor 运行：
- VLM
- VLA
- diffusion
- 机器人模型
因为 128GB 内存非常大。
五、真实开发中显存分配
例如运行：
YOLO + SLAM + ROS2典型占用：
| 模块 | 显存 |
|---|---|
| YOLO | 2--6GB |
| SLAM | 4--10GB |
| ROS | 1GB |
| 系统 | 5GB |
总计：
≈ 20GB对于 128GB 来说非常充裕。
六、Jetson Thor 的核心优势
相比上一代 NVIDIA Jetson AGX Orin：
| 设备 | 内存 |
|---|---|
| Orin | 64GB |
| Thor | 128GB |
Thor 的目标：
机器人 + 多模态AI例如：
- 多相机
- 视觉语言模型
- SLAM
- 控制模型
同时运行。
💡 总结
Jetson Thor 可运行显存：
理论最大：128GB
实际AI可用：约100--120GB但注意：
带宽远低于数据中心GPU所以：
- 推理 👍
- 机器人 👍
- 多模型 👍
- 大规模训练 ❌