Ollama 环境搭建与使用指南

Ollama 环境搭建与使用指南

什么是 Ollama?

Ollama 通过在本地部署和运行大型语言模型,为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。

环境搭建

CPU 环境

如果你的机器没有 GPU,可以使用以下命令在 CPU 环境下运行 Ollama:

bash 复制代码
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamag

GPU 环境

如果你的机器有 NVIDIA GPU,可以使用以下命令在 GPU 环境下运行 Ollama:

bash 复制代码
docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

注意将 /data/ollama 替换为你希望存储 Ollama 数据的路径。

运行 Ollama

启动 Docker 容器后,可以使用以下命令运行 Ollama:

bash 复制代码
docker exec -it ollama ollama run qwen:7b

这里的 qwen:7b 是默认的模型名称。如果你想使用其他模型,只需将其替换为相应的模型名称即可。Ollama 会自动下载所需的模型文件。

模型存储路径

Ollama 的模型文件默认存储在以下路径:

复制代码
/home/docker/volumes/ollama/_data/models

你可以在这个路径下找到已下载的模型文件。

总结

群内交流更多技术

130856474 <-- 在这里

相关推荐
飞机火车巴雷特7 小时前
【论文阅读】DSPy-based neural-symbolic pipeline to enhance spatial reasoning in LLMs
论文阅读·大模型·空间推理·答案集编程
小咕聊编程19 小时前
【含文档+PPT+源码】基于SpringBoot+Gpt个人健康管理系统
java·gpt·tomcat·毕业设计·hibernate
Mr.Lee jack21 小时前
体验GPT-OSS-120B:在PH8平台上探索超大规模语言模型的强大能力
人工智能·gpt·语言模型·openai·deepseek
喜欢吃豆1 天前
一份面向研究人员的强化学习对齐指南:为自定义语言模型实施与评估 PPO 和 DPO
人工智能·语言模型·自然语言处理·架构·大模型
喜欢吃豆1 天前
微调高级推理大模型(COT)的综合指南:从理论到实践
人工智能·python·语言模型·大模型·微调·强化学习·推理模型
喜欢吃豆1 天前
从指令遵循到价值对齐:医疗大语言模型的进阶优化、对齐与工具集成综合技术白皮书
人工智能·python·语言模型·自然语言处理·大模型·强化学习·constitutional
CoderJia程序员甲1 天前
GitHub 热榜项目 - 日榜(2025-10-13)
ai·开源·大模型·github·ai教程
哪吒编程1 天前
如何用好 Codex?OpenAI 内部最佳实践指南:8 个最佳应用场景
gpt·openai
远上寒山2 天前
FlashAttention 原理与工程实践:从 IO-aware 到 H100 上的 1 PFLOPs/s
大模型·注意力机制·flash_attention·online softmax·shared memory
有点不太正常2 天前
Differentially Private Synthetic Text Generation for RAG——论文阅读
论文阅读·大模型·llm·rag