Ollama 环境搭建与使用指南

Ollama 环境搭建与使用指南

什么是 Ollama?

Ollama 通过在本地部署和运行大型语言模型,为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。

环境搭建

CPU 环境

如果你的机器没有 GPU,可以使用以下命令在 CPU 环境下运行 Ollama:

bash 复制代码
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamag

GPU 环境

如果你的机器有 NVIDIA GPU,可以使用以下命令在 GPU 环境下运行 Ollama:

bash 复制代码
docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

注意将 /data/ollama 替换为你希望存储 Ollama 数据的路径。

运行 Ollama

启动 Docker 容器后,可以使用以下命令运行 Ollama:

bash 复制代码
docker exec -it ollama ollama run qwen:7b

这里的 qwen:7b 是默认的模型名称。如果你想使用其他模型,只需将其替换为相应的模型名称即可。Ollama 会自动下载所需的模型文件。

模型存储路径

Ollama 的模型文件默认存储在以下路径:

复制代码
/home/docker/volumes/ollama/_data/models

你可以在这个路径下找到已下载的模型文件。

总结

群内交流更多技术

130856474 <-- 在这里

相关推荐
回眸&啤酒鸭12 小时前
【回眸】GPT-6.1 Sol 新手快速上手指南
gpt
小七-七牛开发者2 天前
PACE:代码通过率从 42% 到 97%, 让长程 Agent 在有限 KV Cache 下用好历史 Token
大模型·claude·token·工作流·长程agent
谙弆悕博士2 天前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
小七-七牛开发者3 天前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
M--Y3 天前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
泓博3 天前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
香吧香3 天前
一篇文章搞懂 Agent Harness:从概念、原理到我们该不该上
大模型
M--Y3 天前
LangGraph 工作流模式
开发语言·javascript·python·langchain·大模型·llm·langgraph
dozenyaoyida3 天前
AI与大模型新闻日报 | 2026-11-08
人工智能·搜索引擎·ai·大模型·新闻
Eloudy4 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer