Ollama 环境搭建与使用指南

Ollama 环境搭建与使用指南

• • [什么是 Ollama?](#什么是 Ollama?)
  • 环境搭建
  • • [CPU 环境](#CPU 环境)
    • [GPU 环境](#GPU 环境)
  • [运行 Ollama](#运行 Ollama)
  • 模型存储路径
  • 总结

什么是 Ollama?

Ollama 通过在本地部署和运行大型语言模型，为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。

环境搭建

CPU 环境

如果你的机器没有 GPU,可以使用以下命令在 CPU 环境下运行 Ollama:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamag

GPU 环境

如果你的机器有 NVIDIA GPU,可以使用以下命令在 GPU 环境下运行 Ollama:

docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

注意将 /data/ollama 替换为你希望存储 Ollama 数据的路径。

运行 Ollama

启动 Docker 容器后,可以使用以下命令运行 Ollama:

docker exec -it ollama ollama run qwen:7b

这里的 qwen:7b 是默认的模型名称。如果你想使用其他模型,只需将其替换为相应的模型名称即可。Ollama 会自动下载所需的模型文件。

模型存储路径

Ollama 的模型文件默认存储在以下路径:

/home/docker/volumes/ollama/_data/models

你可以在这个路径下找到已下载的模型文件。

总结

群内交流更多技术

130856474 <-- 在这里