Jetson Orin NX 上部署 Ollama + Llama 3.2

Robot侠2025-12-16 9:13

Jetson Orin NX 上部署 Ollama + Llama 3.2

关键词： Jetson Orin NX, JetPack 5, Ubuntu 20.04, Ollama, Llama 3.2, CUDA, GPU推理, 边缘计算, ARM64
阅读时长： 约15分钟

📋 文章导航

前言

随着大语言模型（LLM）的快速发展，如何在边缘设备 上高效部署和运行这些模型成为了热门话题。NVIDIA Jetson Orin NX 作为一款强大的边缘AI计算平台，凭借其 100 TOPS 的AI算力和 16GB 统一内存，为边缘端LLM推理提供了可能。

本文将详细介绍如何在 Jetson Orin NX（JetPack 5 / Ubuntu 20.04） 上部署 Ollama ，并通过 GPU加速 运行 Meta最新的Llama 3.2模型。我们将从零开始，一步步搭建一个完整的本地大模型推理平台。

💡 重要提示： 虽然Orin NX具备一定的AI算力，但与桌面级GPU（如RTX 3090）相比，其算力和内存带宽仍有较大差距。因此，在边缘端部署时，我们需要合理选择模型规模、优化推理参数，并做好性能预期管理。

一、环境准备与系统要求

1.1 硬件要求

组件 要求 推荐配置
设备型号 Jetson Orin NX Orin NX 16GB
内存 ≥8GB 16GB
存储 ≥32GB NVMe SSD 256GB+
系统 JetPack 5.x JetPack 5.1.2+
网络 可访问GitHub 配置代理（可选）

1.2 软件要求

  • 操作系统： Ubuntu 20.04 LTS（L4T）
  • JetPack版本： 5.0 或更高
  • CUDA： 11.4+（JetPack自带）
  • cuDNN： 8.6+（JetPack自带）

1.3 模型存储空间估算

模型名称 量化版本 模型大小 推荐内存
Llama 3.2 1B Q4_0 ~1GB 4GB+
Llama 3.2 3B Q4_0 ~2GB 8GB+
Llama 3.2 3B Q8_0 ~3.5GB 12GB+

📌 建议： 初学者建议从 1b-instruct-q4_0 开始，验证流程后再尝试更大的模型。

二、系统环境检查

在开始安装前，让我们先检查系统环境是否满足要求。

2.1 检查JetPack版本

bash 复制代码 
# 查看L4T版本
cat /etc/nv_tegra_release

# 查看系统信息
uname -a
lsb_release -a

# 查看JetPack版本（如果已安装SDK Manager）
apt list --installed | grep nvidia-jetpack

预期输出示例：

复制代码 
# R35 (release), REVISION: 3.1, GCID: 32827747, BOARD: t186ref, EABI: aarch64
Ubuntu 20.04.6 LTS

2.2 验证GPU状态

Jetson设备使用 tegrastats 代替 nvidia-smi：

bash 复制代码 
# 实时监控GPU状态
sudo tegrastats

# 查看GPU信息
sudo jetson_clocks --show

关键指标说明：

  • GR3D_FREQ：GPU频率和使用率
  • RAM：内存使用情况
  • SWAP：交换分区使用情况
  • EMC_FREQ：内存频率

2.3 存储空间规划

bash 复制代码 
# 查看磁盘空间
df -h

# 查看块设备
lsblk

# 如果有NVMe，建议使用
ls /dev/nvme*

💾 最佳实践： 强烈建议将模型文件存储在 NVMe SSD 上，避免使用eMMC或SD卡，以获得更好的I/O性能。

三、安装Ollama（JetPack 5专用版）

3.1 安装目录规划

为了保持系统整洁，我们采用用户目录安装方式：

bash 复制代码 
# 创建安装目录结构
mkdir -p ~/apps/ollama/{bin,lib,tmp}

# 创建模型存储目录（建议使用NVMe）
sudo mkdir -p /data/ollama/models
sudo chown $USER:$USER /data/ollama/models

# 或使用用户目录（空间充足时）
mkdir -p ~/.ollama/models

3.2 下载Ollama JetPack 5版本

bash 复制代码 
# 设置代理（如需要）
export HTTP_PROXY=http://127.0.0.1:你的端口
export HTTPS_PROXY=http://127.0.0.1:你的端口

# 获取最新版本号
TAG=$(curl -fsSL https://api.github.com/repos/ollama/ollama/releases/latest \
  | grep -m1 '"tag_name"' | cut -d'"' -f4)

echo "Latest version: $TAG"

# 下载JetPack 5专用版本
curl -fL "https://github.com/ollama/ollama/releases/download/${TAG}/ollama-linux-arm64-jetpack5.tgz" \
  -o ~/apps/ollama/tmp/ollama-jetpack5.tgz

3.3 安装Ollama

bash 复制代码 
# 解压文件
cd ~/apps/ollama/tmp
tar -xzf ollama-jetpack5.tgz

# 安装二进制文件
mv bin/ollama ~/apps/ollama/bin/
chmod +x ~/apps/ollama/bin/ollama

# 安装运行库（重要！）
cp -r lib/* ~/apps/ollama/lib/

# 验证安装
~/apps/ollama/bin/ollama --version

成功输出示例：

复制代码 
ollama version 0.4.8

四、配置运行环境

4.1 配置环境变量

bash 复制代码 
# 当前会话生效
export PATH="$HOME/apps/ollama/bin:$PATH"
export OLLAMA_MODELS="/data/ollama/models"
export OLLAMA_HOST="127.0.0.1:11434"

# 可选：限制并发和上下文长度（边缘设备推荐）
export OLLAMA_NUM_PARALLEL=1
export OLLAMA_CONTEXT_LENGTH=2048

4.2 永久保存配置

bash 复制代码 
# 添加到 .bashrc
cat >> ~/.bashrc << 'EOF'

# Ollama Configuration
export PATH="$HOME/apps/ollama/bin:$PATH"
export OLLAMA_MODELS="/data/ollama/models"
export OLLAMA_HOST="127.0.0.1:11434"
export OLLAMA_NUM_PARALLEL=1
export OLLAMA_CONTEXT_LENGTH=2048
EOF

# 立即生效
source ~/.bashrc

五、启动Ollama服务与GPU验证

5.1 启动服务

bash 复制代码 
# 启动Ollama服务
ollama serve

5.2 验证GPU支持

成功启动的关键标志：

复制代码 
time=2024-12-15T10:00:00.000+08:00 level=INFO source=gpu.go:199 msg="detected GPU" library=cuda compute=8.7 driver=11.4 name="NVIDIA Orin" total="15.7 GiB" available="14.2 GiB"

❌ 如果看到 library=cpu 说明GPU未启用，请检查：

  1. 是否安装了 lib 目录
  2. 是否使用了正确的 jetpack5 版本
  3. CUDA环境是否正常

5.3 GPU使用监控

新开一个终端，运行：

bash 复制代码 
# 实时监控GPU使用情况
sudo tegrastats

# 查看显存使用
free -h

六、部署Llama 3.2模型

6.1 模型选择策略

对于Jetson Orin NX，推荐按以下顺序尝试：

  1. 入门级： llama3.2:1b-instruct-q4_0 （~1GB，速度最快）
  2. 平衡型： llama3.2:3b-instruct-q4_0 （~2GB，效果更好）
  3. 进阶型： llama3.2:3b-instruct-q8_0 （~3.5GB，精度更高）

6.2 拉取模型

bash 复制代码 
# 保持ollama serve运行，新开终端

# 拉取1B模型（推荐首选）
ollama pull llama3.2:1b-instruct-q4_0

# 查看下载进度和信息
ollama list

下载进度示例：

复制代码 
pulling manifest
pulling 1890919b6184... 100% ████████████████ 976 MB
pulling a70ff7e570d5... 100% ████████████████ 342 B
pulling 5ad0a1049874... 100% ████████████████ 110 B
verifying sha256 digest
writing manifest
success

6.3 运行模型

bash 复制代码 
# 交互式对话
ollama run llama3.2:1b-instruct-q4_0

# 示例对话
>>> 介绍一下NVIDIA Jetson平台

6.4 性能测试

bash 复制代码 
# 简单性能测试
time ollama run llama3.2:1b-instruct-q4_0 "写一个Python快速排序函数"

# 批量测试
echo "What is AI?" | ollama run llama3.2:1b-instruct-q4_0

七、HTTP API接口调用

Ollama提供RESTful API，方便集成到各种应用中。

7.1 生成接口 /api/generate

bash 复制代码 
# 非流式响应
curl -X POST http://127.0.0.1:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "llama3.2:1b-instruct-q4_0",
    "prompt": "解释什么是边缘计算",
    "stream": false,
    "options": {
      "temperature": 0.7,
      "top_p": 0.9,
      "max_tokens": 200
    }
  }' | jq

7.2 对话接口 /api/chat

bash 复制代码 
# 多轮对话示例
curl -X POST http://127.0.0.1:11434/api/chat \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "llama3.2:1b-instruct-q4_0",
    "messages": [
      {"role": "system", "content": "你是一个专业的机器人导航助手"},
      {"role": "user", "content": "如何实现语义地标导航？"}
    ],
    "stream": false,
    "options": {
      "temperature": 0.5
    }
  }' | jq

7.3 流式响应

python 复制代码 
# Python示例：流式响应
import requests
import json

url = 'http://127.0.0.1:11434/api/generate'
data = {
    'model': 'llama3.2:1b-instruct-q4_0',
    'prompt': '写一首关于机器人的诗',
    'stream': True
}

response = requests.post(url, json=data, stream=True)
for line in response.iter_lines():
    if line:
        chunk = json.loads(line)
        print(chunk['response'], end='', flush=True)

八、性能优化与调优

8.1 Jetson功耗模式优化

bash 复制代码 
# 查看当前功耗模式
sudo nvpmodel -q

# 切换到最高性能模式（MODE_15W_6CORE）
sudo nvpmodel -m 0

# 锁定最高频率
sudo jetson_clocks

# 查看当前频率设置
sudo jetson_clocks --show

8.2 内存和上下文优化

bash 复制代码 
# 限制上下文长度（减少内存占用）
export OLLAMA_CONTEXT_LENGTH=1024

# 限制并发请求
export OLLAMA_NUM_PARALLEL=1

# 设置模型保持时间
export OLLAMA_KEEP_ALIVE=5m

8.3 存储优化

bash 复制代码 
# 清理未使用的模型
ollama rm model_name

# 查看模型占用空间
du -sh $OLLAMA_MODELS/*

# 定期清理缓存
rm -rf $OLLAMA_MODELS/.cache/*

8.4 性能监控脚本

bash 复制代码 
#!/bin/bash
# monitor_ollama.sh

echo "Monitoring Ollama Performance..."
echo "================================"

while true; do
    clear
    echo "$(date '+%Y-%m-%d %H:%M:%S')"
    echo "--------------------------------"

    # GPU状态
    echo "GPU Status:"
    sudo tegrastats | head -n1

    # 内存使用
    echo -e "\nMemory Usage:"
    free -h | grep -E "^Mem|^Swap"

    # Ollama进程
    echo -e "\nOllama Process:"
    ps aux | grep -E "ollama|PID" | grep -v grep

    # 模型列表
    echo -e "\nLoaded Models:"
    ollama list 2>/dev/null || echo "Service not running"

    sleep 5
done

九、常见问题与解决方案

9.1 问题诊断清单

问题 可能原因 解决方案
只显示CPU推理 未安装lib目录 重新解压并复制lib文件夹
内存不足错误 模型过大/上下文过长 减小CONTEXT_LENGTH或使用更小模型
推理速度慢 功耗模式限制 执行sudo jetson_clocks
模型下载失败 网络问题 配置代理或使用镜像源
端口被占用 11434已被使用 修改OLLAMA_HOST端口

9.2 调试命令集

bash 复制代码 
# 检查CUDA是否可用
python3 -c "import torch; print(torch.cuda.is_available())"

# 查看Ollama日志
journalctl -u ollama --no-pager -n 50

# 测试API连接
curl http://127.0.0.1:11434/api/tags

# 强制使用GPU
export CUDA_VISIBLE_DEVICES=0

9.3 性能问题排查

bash 复制代码 
# 1. 检查温度节流
cat /sys/class/thermal/thermal_zone*/temp

# 2. 查看内存碎片
cat /proc/buddyinfo

# 3. 检查I/O性能
iostat -x 1

# 4. 分析系统瓶颈
htop
iotop

十、系统服务配置

10.1 创建systemd服务

bash 复制代码 
# 创建用户级服务
mkdir -p ~/.config/systemd/user

cat > ~/.config/systemd/user/ollama.service << 'EOF'
[Unit]
Description=Ollama AI Model Server
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
Restart=always
RestartSec=3
TimeoutStartSec=300

# 环境变量
Environment="PATH=%h/apps/ollama/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_MODELS=/data/ollama/models"
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_KEEP_ALIVE=5m"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_CONTEXT_LENGTH=2048"

# 启动命令
ExecStart=%h/apps/ollama/bin/ollama serve

# 资源限制
LimitNOFILE=65536
LimitMEMLOCK=infinity

[Install]
WantedBy=default.target
EOF

10.2 启用服务

bash 复制代码 
# 重载服务配置
systemctl --user daemon-reload

# 启用开机自启
systemctl --user enable ollama

# 启动服务
systemctl --user start ollama

# 查看状态
systemctl --user status ollama

# 查看日志
journalctl --user -u ollama -f

10.3 设置用户会话持久化

bash 复制代码 
# 启用linger（需要sudo权限）
sudo loginctl enable-linger $USER

# 验证
loginctl show-user $USER | grep Linger

十一、实战应用场景

11.1 机器人语义导航集成

python 复制代码 
#!/usr/bin/env python3
"""
机器人语义地标导航示例
集成Ollama进行自然语言理解
"""

import json
import requests
from typing import Dict, List

class SemanticNavigator:
    def __init__(self, ollama_url="http://127.0.0.1:11434"):
        self.ollama_url = ollama_url
        self.model = "llama3.2:1b-instruct-q4_0"

    def parse_navigation_intent(self, user_input: str) -> Dict:
        """解析用户导航意图"""

        prompt = f"""你是一个机器人导航助手。
分析以下指令并返回JSON格式：
{{"action": "navigate/stop/pause", "landmark": "具体地标名称", "confidence": 0.0-1.0}}

用户指令：{user_input}

只返回JSON，不要其他解释。"""

        response = requests.post(
            f"{self.ollama_url}/api/generate",
            json={
                "model": self.model,
                "prompt": prompt,
                "stream": False,
                "options": {"temperature": 0.3}
            }
        )

        try:
            result = response.json()['response']
            return json.loads(result)
        except:
            return {"action": "unknown", "landmark": None, "confidence": 0.0}

    def get_path_description(self, start: str, end: str) -> str:
        """生成路径描述"""

        prompt = f"用一句话描述从{start}到{end}的路径。"

        response = requests.post(
            f"{self.ollama_url}/api/generate",
            json={
                "model": self.model,
                "prompt": prompt,
                "stream": False,
                "options": {"temperature": 0.5, "max_tokens": 50}
            }
        )

        return response.json()['response']

# 使用示例
if __name__ == "__main__":
    nav = SemanticNavigator()

    # 测试意图解析
    test_commands = [
        "带我去充电桩",
        "停止移动",
        "去会议室开会"
    ]

    for cmd in test_commands:
        result = nav.parse_navigation_intent(cmd)
        print(f"指令: {cmd}")
        print(f"解析: {json.dumps(result, ensure_ascii=False)}")
        print("-" * 40)

11.2 边缘端优化建议

  1. 模型选择优先级

    • 任务简单 → 1B模型
    • 需要推理 → 3B模型
    • 实时要求 → Q4量化
    • 精度要求 → Q8量化

  2. 系统架构设计

    复制代码 
    感知层 (Camera/Lidar)
    ↓
场景理解 (CV/SLAM)
    ↓
语义提取 (JSON)
    ↓
LLM推理 (Ollama)
    ↓
决策规划 (Structured Output)
    ↓
执行控制 (ROS Actions)

  3. 性能优化技巧

    • 使用结构化提示词
    • 限制输出长度
    • 缓存常见查询
    • 异步处理非关键任务

总结

通过本教程，我们成功在 Jetson Orin NX 上部署了 Ollama + Llama 3.2 的GPU加速推理环境。关键要点包括：

📊 性能参考

  • 1B模型： 首token延迟 ~2-3秒，生成速度 ~10-15 tokens/s
  • 3B模型： 首token延迟 ~5-8秒，生成速度 ~5-8 tokens/s
  • 功耗： 满载约15W，待机约5W

💬 交流与反馈

如果在部署过程中遇到问题，或有更好的优化方案，欢迎在评论区交流讨论！

相关资源：

标签： Jetson Ollama Llama3.2 边缘AI GPU推理 JetPack5 CUDA 机器人 嵌入式AI

相关推荐
快撑死的鱼1 天前
Llama-factory 详细学习笔记：第六章：DPO (直接偏好优化) 实战 (难点)
笔记·学习·llama
一见已难忘1 天前
昇腾加持下的Llama 3.2：开源大模型推理性能1B英文原版与3B中文微调模型实测对比
人工智能·开源·llama·gitcode·昇腾
被制作时长两年半的个人练习生1 天前
使用rvv优化rms_norm
linux·llama·risc-v
LiYingL3 天前
OctoThinker 通过改进 Llama 来支持强化学习，展示了中间学习的威力
人工智能·学习·llama
范男5 天前
Qwen3-VL + LLama-Factory进行针对Grounding任务LoRA微调
人工智能·深度学习·计算机视觉·transformer·llama
忘记5785 天前
下载llama factory
llama
路边草随风5 天前
llama_index简单使用
人工智能·python·llama
王威振的csdn6 天前
法律大模型微调：基于 LLaMA-Factory 的指令微调方案
llama
JoannaJuanCV6 天前
大模型训练：LLaMA-Factory快速上手
llama
热门推荐
01GitHub 镜像站点02UV安装并设置国内源03Linux下V2Ray安装配置指南04【AutoGLM部署】本地私有化部署AI手机Agent05Open-AutoGLM Windows 安装部署教程06Cursor 又偷偷更新，这个功能太实用：Visual Editor for Cursor Browser07【超详细教程】手把手教你从微软官网免费下载Windows 10官方原版ISO镜像（2025最新版）08在VSCode配置Java开发环境的保姆级教程（适配各类AI编程IDE）09安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口（持续更新）10BongoCat - 跨平台键盘猫动画工具