使用ollama本地部署微调后的大语言模型

在使用LlaMA-Factory导出的模型时,由于其输出格式与Ollama所需的格式不一致,需要借助llama.cpp的工具将模型转换为GGUF格式,以便在Ollama中使用。Ollama是一款开源的本地大语言模型推理工具,支持对LLM模型进行管理、训练和推理,并提供了WebUI界面和客户端API。


Ollama安装

1. 安装方式

Ollama支持多种安装方式,包括直接安装和通过Docker安装。

  • 直接安装

    • Windows:从Ollama官网下载安装程序并运行。

    • macOS:使用Homebrew安装:

      bash 复制代码
      brew install ollama
    • Linux:直接下载并安装:

      bash 复制代码
      curl -fsSL https://ollama.com/install.sh | sh

      或者手动下载并解压:

      复制代码
      curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
      sudo tar -C /usr -xzf ollama-linux-amd64.tgz
  • Docker安装

    • 使用Docker可以快速部署Ollama。首先确保已安装Docker。

    • 拉取Ollama的Docker镜像:

      复制代码
      docker pull ollama/ollama:latest
    • 创建一个docker-compose.yml文件,内容如下:

      复制代码
      version: '3'
      services:
        ollama:
          image: ollama/ollama:latest
          container_name: ollama
          ports:
            - "11434:11434"
          volumes:
            - ./data:/data
    • 启动Ollama服务:

      复制代码
      docker-compose up -d
2. 验证安装

安装完成后,可以通过以下命令启动Ollama服务:

复制代码
ollama serve

或者通过Docker启动:

复制代码
docker start ollama

访问http://localhost:11434,如果页面正常显示,说明Ollama已成功安装。


模型转换与部署

1. 转换模型

Ollama支持GGUF格式的模型,因此需要将LlaMA-Factory导出的模型转换为GGUF格式。

  1. 克隆llama.cpp仓库:

    复制代码
    git clone https://github.com/ggerganov/llama.cpp.git
    cd llama.cpp
  2. 安装依赖:

    复制代码
    pip install -r requirements.txt
  3. convert_hf_to_gguf.py 是一个用于将 HuggingFace 模型转换为 GGUF 格式的脚本,使用convert_hf_to_gguf.py脚本转换模型:

    复制代码
    python convert_hf_to_gguf.py /path/to/your_model --outfile /path/to/output.gguf --outtype q8_0
    • /path/to/your_model:LlaMA-Factory导出的模型路径。

    • /path/to/output.gguf:转换后的GGUF模型路径。

    • --outtype q8_0:指定量化类型,根据实际需求修改。

2. 创建Modelfile

创建一个Modelfile文件,内容如下:

FROM /path/to/output.gguf

/path/to/output.gguf替换为实际的GGUF模型路径。

3. 导入模型到Ollama

将转换后的模型导入到Ollama中:

复制代码
ollama create model_name -f /path/to/Modelfile
  • model_name:自定义模型名称。
4. 查看和运行模型

查看Ollama中的所有本地模型:

复制代码
ollama list

运行模型进行对话:

复制代码
ollama run model_name

此时,模型已成功部署到Ollama中。

相关推荐
飞哥数智坊11 小时前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三11 小时前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯12 小时前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet14 小时前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算15 小时前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心15 小时前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
Juchecar16 小时前
交叉熵:深度学习中最常用的损失函数
人工智能
林木森ai16 小时前
爆款AI动物运动会视频,用Coze(扣子)一键搞定全流程(附保姆级拆解)
人工智能·aigc
聚客AI17 小时前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm
BeerBear18 小时前
【保姆级教程-从0开始开发MCP服务器】一、MCP学习压根没有你想象得那么难!.md
人工智能·mcp