Ollama 环境搭建与使用指南

Ollama 环境搭建与使用指南

什么是 Ollama?

Ollama 通过在本地部署和运行大型语言模型,为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。

环境搭建

CPU 环境

如果你的机器没有 GPU,可以使用以下命令在 CPU 环境下运行 Ollama:

bash 复制代码
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamag

GPU 环境

如果你的机器有 NVIDIA GPU,可以使用以下命令在 GPU 环境下运行 Ollama:

bash 复制代码
docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

注意将 /data/ollama 替换为你希望存储 Ollama 数据的路径。

运行 Ollama

启动 Docker 容器后,可以使用以下命令运行 Ollama:

bash 复制代码
docker exec -it ollama ollama run qwen:7b

这里的 qwen:7b 是默认的模型名称。如果你想使用其他模型,只需将其替换为相应的模型名称即可。Ollama 会自动下载所需的模型文件。

模型存储路径

Ollama 的模型文件默认存储在以下路径:

复制代码
/home/docker/volumes/ollama/_data/models

你可以在这个路径下找到已下载的模型文件。

总结

群内交流更多技术

130856474 <-- 在这里

相关推荐
q_q王11 小时前
本地知识库工具FASTGPT的安装与搭建
python·大模型·llm·知识库·fastgpt
一点.点11 小时前
Sce2DriveX: 用于场景-到-驾驶学习的通用 MLLM 框架——论文阅读
论文阅读·大模型·自动驾驶·端到端
金木讲编程1 天前
用Function Calling让GPT查询数据库(含示例)
gpt·ai编程
中关村科金1 天前
大模型训练平台:重构 AI 研发范式的智慧基建
人工智能·大模型·大模型训练平台
GPUStack1 天前
45分钟从零搭建私有MaaS平台和生产级的Qwen3模型服务
ai·大模型·qwen·genai·gpu集群
一点.点1 天前
VLM-E2E:通过多模态驾驶员注意融合增强端到端自动驾驶——论文阅读
论文阅读·大模型·自动驾驶·端到端
小研学术2 天前
如何开展有组织的AI素养教育?
大数据·人工智能·ai·大模型·deepseek·ai素养
PLUS_WAVE2 天前
CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning 学习笔记
学习·语言模型·大模型·cot·vlm·推理模型·reasoning
Tech Synapse2 天前
打造企业级AI文案助手:GPT-J+Flask全栈开发实战
人工智能·gpt·flask