Ollama 环境搭建与使用指南
什么是 Ollama?
Ollama 通过在本地部署和运行大型语言模型，为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。
环境搭建
CPU 环境
如果你的机器没有 GPU,可以使用以下命令在 CPU 环境下运行 Ollama:
bash
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamagGPU 环境
如果你的机器有 NVIDIA GPU,可以使用以下命令在 GPU 环境下运行 Ollama:
bash
docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama注意将 /data/ollama 替换为你希望存储 Ollama 数据的路径。
运行 Ollama
启动 Docker 容器后,可以使用以下命令运行 Ollama:
bash
docker exec -it ollama ollama run qwen:7b这里的 qwen:7b 是默认的模型名称。如果你想使用其他模型,只需将其替换为相应的模型名称即可。Ollama 会自动下载所需的模型文件。
模型存储路径
Ollama 的模型文件默认存储在以下路径:
/home/docker/volumes/ollama/_data/models你可以在这个路径下找到已下载的模型文件。
总结
群内交流更多技术
130856474 <-- 在这里