01. 使用ollama运行本地模型

简介

Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。

部署

此处使用docker-compose进行部署 ollama docker仓库

shell 复制代码

docker pull ollama/ollama:0.6.4

添加 ollama.yaml 文件

yaml 复制代码

services:
  ollama:
    image: ollama/ollama:0.6.4
    container_name: ollama
    hostname: ollama
    ports:
      - '11434:11434'
    volumes:
      - './conf/ollama:/usr/local/ollama'
      - './data/ollama:/root/.ollama'
    networks:
      - study

networks:
  study:
    driver: bridge
    name: study

运行服务

shell 复制代码

docker compose -f ollama.yaml up -d

下载并运行模型

ollama在本地运行后，我们使用阿里云的千问模型进行后续的交互，如果你有其他选项也可以更选对应的模型 ollama模型列表

选择模型时，请根据电脑配置选择对应的模型大小，此处选择的是3b的大小。

shell 复制代码

$ docker exec -it ollama bash

$ ollama pull qwen2.5:3b
# 运行模型, 模型运行后会进入交互控制台， 使用 ctrl+d 或者输入 /bye 进行退出
$ ollama run qwen2.5:3b

更多cli命令查看此处 ollama cli参考

导入导出

我们在ollama.yaml文件中挂载了data和conf两个文件夹，我们把数据模板和文件信息存储到conf中。

shell 复制代码

# 生成Modelfile文件
$ ollama show qwen2.5:3b --modelfile >> /usr/local/ollama/Modelfile

modelfile文件详解

修改modelfile文件

FROM是模型位置，我们将这个文件复制到 conf 挂载的目录中，并修改导入位置

shell 复制代码

$ cp /root/.ollama/models/blobs/sha256-5ee4f07cdb9beadbbb293e85803c569b01bd37ed059d2715faa7bb405f31caa6 /usr/local/ollama/qwen2.53b

修改 FROM 为 FROM /usr/local/ollama/qwen2.53b

我们想要搭建自己的学习助手平台，希望对模型提问 你是谁 时是返回学习平台的相关的问答，我们需要设置SYSTEM

导入并运行模型

shell 复制代码

$ ollama create ollama run qwen2.5:3b -f /usr/local/ollama/Modelfile

$ ollama run qwen2.5:3b