1,视频地址
https://www.bilibili.com/video/BV1Pj421o7W5/
【ollama】(7):使用Nvidia Jetson Nano设备,成功运行ollama,运行qwen:0.5b-chat,速度还可以,可以做创新项目了
2,使用Nvidia Jetson Nano设备
https://www.nvidia.cn/autonomous-machines/embedded-systems/jetson-nano/product-development/
参数:
设备连接观显示器,使用 usb wifi 连接网络。
3, 使用ollama官方脚本进行安装
bash
test@test-desktop:~$ curl -fsSL https://ollama.com/install.sh | sh
>>> Downloading ollama...
######################################################################## 100.0%#=#=-# # >>> Installing ollama to /usr/local/bin...
[sudo] password for test:
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> Installing NVIDIA repository...
curl: (22) The requested URL returned error: 404
但是感觉 nvidia 的驱动没有安装成功。本身也没有 nvidia-smi 命令了。
下载qwen 0.5 大模型,然后运行。
bash
test@test-desktop:~$ ollama run qwen:0.5b-chat
pulling manifest
pulling fad2a06e4cc7... 100% ▕███████████████████████████████████████████████████████████████████████████▏ 394 MB
pulling 41c2cf8c272f... 100% ▕███████████████████████████████████████████████████████████████████████████▏ 7.3 KB
pulling 1da0581fd4ce... 100% ▕███████████████████████████████████████████████████████████████████████████▏ 130 B
pulling f02dd72bb242... 100% ▕███████████████████████████████████████████████████████████████████████████▏ 59 B
pulling ea0a531a015b... 100% ▕███████████████████████████████████████████████████████████████████████████▏ 485 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> Send a message (/? for help)
运行qwen 0.5b 大模型:
4,总结
总体上速度还可以,非常不错的。
设备是很多年前的老设备啦。