ollama 多实例部署

如果我们需要在一台服务器上使用多个ollama服务,那么我们需要进行将ollama前端和ollama后端对应连接的操作,否则就会出现如下场景:

我们可以在当前端口设置,这句话就是指明当前ollama实例使用哪个后端进行请求:

复制代码
export OLLAMA_HOST="127.0.0.1:12345"

也可以直接追加到这个用户配置文件的后面:

不过记得设置新下载的ollama,并追加到用户配置文件(参考上图倒数第二行)