使用ollama本地部署微调后的大语言模型

在使用LlaMA-Factory导出的模型时,由于其输出格式与Ollama所需的格式不一致,需要借助llama.cpp的工具将模型转换为GGUF格式,以便在Ollama中使用。Ollama是一款开源的本地大语言模型推理工具,支持对LLM模型进行管理、训练和推理,并提供了WebUI界面和客户端API。


Ollama安装

1. 安装方式

Ollama支持多种安装方式,包括直接安装和通过Docker安装。

  • 直接安装

    • Windows:从Ollama官网下载安装程序并运行。

    • macOS:使用Homebrew安装:

      bash 复制代码
      brew install ollama
    • Linux:直接下载并安装:

      bash 复制代码
      curl -fsSL https://ollama.com/install.sh | sh

      或者手动下载并解压:

      复制代码
      curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
      sudo tar -C /usr -xzf ollama-linux-amd64.tgz
  • Docker安装

    • 使用Docker可以快速部署Ollama。首先确保已安装Docker。

    • 拉取Ollama的Docker镜像:

      复制代码
      docker pull ollama/ollama:latest
    • 创建一个docker-compose.yml文件,内容如下:

      复制代码
      version: '3'
      services:
        ollama:
          image: ollama/ollama:latest
          container_name: ollama
          ports:
            - "11434:11434"
          volumes:
            - ./data:/data
    • 启动Ollama服务:

      复制代码
      docker-compose up -d
2. 验证安装

安装完成后,可以通过以下命令启动Ollama服务:

复制代码
ollama serve

或者通过Docker启动:

复制代码
docker start ollama

访问http://localhost:11434,如果页面正常显示,说明Ollama已成功安装。


模型转换与部署

1. 转换模型

Ollama支持GGUF格式的模型,因此需要将LlaMA-Factory导出的模型转换为GGUF格式。

  1. 克隆llama.cpp仓库:

    复制代码
    git clone https://github.com/ggerganov/llama.cpp.git
    cd llama.cpp
  2. 安装依赖:

    复制代码
    pip install -r requirements.txt
  3. convert_hf_to_gguf.py 是一个用于将 HuggingFace 模型转换为 GGUF 格式的脚本,使用convert_hf_to_gguf.py脚本转换模型:

    复制代码
    python convert_hf_to_gguf.py /path/to/your_model --outfile /path/to/output.gguf --outtype q8_0
    • /path/to/your_model:LlaMA-Factory导出的模型路径。

    • /path/to/output.gguf:转换后的GGUF模型路径。

    • --outtype q8_0:指定量化类型,根据实际需求修改。

2. 创建Modelfile

创建一个Modelfile文件,内容如下:

FROM /path/to/output.gguf

/path/to/output.gguf替换为实际的GGUF模型路径。

3. 导入模型到Ollama

将转换后的模型导入到Ollama中:

复制代码
ollama create model_name -f /path/to/Modelfile
  • model_name:自定义模型名称。
4. 查看和运行模型

查看Ollama中的所有本地模型:

复制代码
ollama list

运行模型进行对话:

复制代码
ollama run model_name

此时,模型已成功部署到Ollama中。

相关推荐
麻雀无能为力1 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心1 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield2 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域3 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技3 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_13 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎4 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎4 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊4 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪