使用ollama本地部署微调后的大语言模型

在使用LlaMA-Factory导出的模型时,由于其输出格式与Ollama所需的格式不一致,需要借助llama.cpp的工具将模型转换为GGUF格式,以便在Ollama中使用。Ollama是一款开源的本地大语言模型推理工具,支持对LLM模型进行管理、训练和推理,并提供了WebUI界面和客户端API。


Ollama安装

1. 安装方式

Ollama支持多种安装方式,包括直接安装和通过Docker安装。

  • 直接安装

    • Windows:从Ollama官网下载安装程序并运行。

    • macOS:使用Homebrew安装:

      bash 复制代码
      brew install ollama
    • Linux:直接下载并安装:

      bash 复制代码
      curl -fsSL https://ollama.com/install.sh | sh

      或者手动下载并解压:

      复制代码
      curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
      sudo tar -C /usr -xzf ollama-linux-amd64.tgz
  • Docker安装

    • 使用Docker可以快速部署Ollama。首先确保已安装Docker。

    • 拉取Ollama的Docker镜像:

      复制代码
      docker pull ollama/ollama:latest
    • 创建一个docker-compose.yml文件,内容如下:

      复制代码
      version: '3'
      services:
        ollama:
          image: ollama/ollama:latest
          container_name: ollama
          ports:
            - "11434:11434"
          volumes:
            - ./data:/data
    • 启动Ollama服务:

      复制代码
      docker-compose up -d
2. 验证安装

安装完成后,可以通过以下命令启动Ollama服务:

复制代码
ollama serve

或者通过Docker启动:

复制代码
docker start ollama

访问http://localhost:11434,如果页面正常显示,说明Ollama已成功安装。


模型转换与部署

1. 转换模型

Ollama支持GGUF格式的模型,因此需要将LlaMA-Factory导出的模型转换为GGUF格式。

  1. 克隆llama.cpp仓库:

    复制代码
    git clone https://github.com/ggerganov/llama.cpp.git
    cd llama.cpp
  2. 安装依赖:

    复制代码
    pip install -r requirements.txt
  3. convert_hf_to_gguf.py 是一个用于将 HuggingFace 模型转换为 GGUF 格式的脚本,使用convert_hf_to_gguf.py脚本转换模型:

    复制代码
    python convert_hf_to_gguf.py /path/to/your_model --outfile /path/to/output.gguf --outtype q8_0
    • /path/to/your_model:LlaMA-Factory导出的模型路径。

    • /path/to/output.gguf:转换后的GGUF模型路径。

    • --outtype q8_0:指定量化类型,根据实际需求修改。

2. 创建Modelfile

创建一个Modelfile文件,内容如下:

FROM /path/to/output.gguf

/path/to/output.gguf替换为实际的GGUF模型路径。

3. 导入模型到Ollama

将转换后的模型导入到Ollama中:

复制代码
ollama create model_name -f /path/to/Modelfile
  • model_name:自定义模型名称。
4. 查看和运行模型

查看Ollama中的所有本地模型:

复制代码
ollama list

运行模型进行对话:

复制代码
ollama run model_name

此时,模型已成功部署到Ollama中。

相关推荐
charley.layabox5 小时前
8月1日ChinaJoy酒会 | 游戏出海高端私享局 | 平台 × 发行 × 投资 × 研发精英畅饮畅聊
人工智能·游戏
DFRobot智位机器人5 小时前
AIOT开发选型:行空板 K10 与 M10 适用场景与选型深度解析
人工智能
想成为风筝8 小时前
从零开始学习深度学习—水果分类之PyQt5App
人工智能·深度学习·计算机视觉·pyqt
F_D_Z8 小时前
MMaDA:多模态大型扩散语言模型
人工智能·语言模型·自然语言处理
大知闲闲哟8 小时前
深度学习G2周:人脸图像生成(DCGAN)
人工智能·深度学习
飞哥数智坊8 小时前
Coze实战第15讲:钱都去哪儿了?Coze+飞书搭建自动记账系统
人工智能·coze
wenzhangli78 小时前
低代码引擎核心技术:OneCode常用动作事件速查手册及注解驱动开发详解
人工智能·低代码·云原生
潘达斯奈基~9 小时前
大模型的Temperature、Top-P、Top-K、Greedy Search、Beem Search
人工智能·aigc
倔强青铜三9 小时前
苦练Python第18天:Python异常处理锦囊
人工智能·python·面试
倔强青铜三10 小时前
苦练Python第17天:你必须掌握的Python内置函数
人工智能·python·面试