使用docker安装ollama及ollama拉取模型的总结

文章目录

创建ollama容器

bash 复制代码
docker run -d \
  --name ollama \
  --restart always \
  -p 11434:11434 \
  -v ollama:/root/.ollama \
  ollama/ollama

查看ollama容器是否已UP

bash 复制代码
[root@localserver models]# docker ps | grep ollama
257d3ct479ee   ollama/ollama                               "/bin/ollama serve"       40 minutes ago   Up 40 minutes                0.0.0.0:11434->11434/tcp, :::11434->11434/tcp                                  ollama

进入容器内,拉取模型

bash 复制代码
#进入容器内
docker exec -it ollama /bin/bash
#拉取模型(若没有此模型则会自动拉取),并以打开与模型的交互模型
ollama run tinyllama:latest
#拉取模型(不会自动进入和模型的交互模型)
ollama pull tinyllama:latest

如下演示:

注意:ollama run tinyllama:latest 只是打开了一个和模型的交互式模式,并不是说启动了模型。

只要ollama serve进程服务还在运行,ollama pull 下来的模型,都会在被调用时按需加载指定的大模型,并提供服务,并不是像传统服务那样后台一直到在启用监听的模式。所以这里的大模型 没有启动或停止一说。

ollama pull 或 ollama run 时当模型不存在时都会主动去指定的官方仓库里下载模型,所以最好使用没有代理的网络,不然会出现各种奇奇怪怪的问题。

相关推荐
星落梦生1 小时前
Docker学习(11)
学习·docker·容器
万里侯4 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
无忧.芙桃12 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
谙弆悕博士15 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
byte轻骑兵17 小时前
如何为你的 Web 应用添加文档编辑能力:ONLYOFFICE 文档集成实战
docker·私有化部署·系统集成·在线协作·wsl2·onlyoffice docs
HMS工业网络17 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕18 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
IT大白鼠20 小时前
eBPF 观测入门:用 bpftrace 给服务器装上“内核摄像头“
运维·服务器·ebpf
分布式存储与RustFS20 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
好用斋21 小时前
内网测速 LibreSpeed:网页版 Docker 测速服务
运维·docker·容器