Ollama 环境搭建与使用指南

Ollama 环境搭建与使用指南

什么是 Ollama?

Ollama 通过在本地部署和运行大型语言模型,为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。

环境搭建

CPU 环境

如果你的机器没有 GPU,可以使用以下命令在 CPU 环境下运行 Ollama:

bash 复制代码
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamag

GPU 环境

如果你的机器有 NVIDIA GPU,可以使用以下命令在 GPU 环境下运行 Ollama:

bash 复制代码
docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

注意将 /data/ollama 替换为你希望存储 Ollama 数据的路径。

运行 Ollama

启动 Docker 容器后,可以使用以下命令运行 Ollama:

bash 复制代码
docker exec -it ollama ollama run qwen:7b

这里的 qwen:7b 是默认的模型名称。如果你想使用其他模型,只需将其替换为相应的模型名称即可。Ollama 会自动下载所需的模型文件。

模型存储路径

Ollama 的模型文件默认存储在以下路径:

复制代码
/home/docker/volumes/ollama/_data/models

你可以在这个路径下找到已下载的模型文件。

总结

群内交流更多技术

130856474 <-- 在这里

相关推荐
Ai野生菌2 小时前
工具介绍 | SafeLLMDeploy教程来了 保护本地LLM安全部署
网络·人工智能·安全·大模型·llm
a里啊里啊2 小时前
AI提示词收集(持续更新)
ai·大模型·prompt·开发·提示词
碳基学AI3 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
*星星之火*4 小时前
【GPT入门】第33 课 一文吃透 LangChain:chain 结合 with_fallbacks ([]) 的实战指南
gpt·langchain
未来智慧谷13 小时前
DeepSeek大模型在政务服务领域的应用
大模型·政务·deepseek
kcarly14 小时前
DeepSeek 都开源了哪些技术?
开源·大模型·llm·deepseek
狂奔solar17 小时前
Minimind 训练一个自己专属语言模型
大模型·minimind
x-cmd1 天前
[250401] OpenAI 向免费用户开放 GPT-4o 图像生成功能 | Neovim 0.11 新特性解读
人工智能·gpt·文生图·openai·命令行·neovim
王亭_6661 天前
Ollama+open-webui搭建私有本地大模型详细教程
人工智能·大模型·ollama·openwebui·deepseek
开始学AI1 天前
【Windows+Cursor】从0到1配置Arxiv MCP Server,实现论文自主查询、下载、分析、综述生成
语言模型·大模型·ai agent·mcp