Day27 - 大模型微调,LLaMA搭建

指令微调

SFT:Supervised Fine - Tuning

  • 自我认知
    • self-cognition
    • identity
  • 私有知识 / 具体任务
  • 公共知识

LLaMA-Factory 搭建过程

  1. 下载 LLaMA-Factory 源代码
bash 复制代码
​git clone https://github.com/hiyouga/LLaMA-Factory.git
  1. 安装 LLaMA-Factory 依赖包
bash 复制代码
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
  1. 魔塔社区映射端口(各个平台都不一样)
bash 复制代码
export GRADIO_SERVER_PORT=7860 GRADIO_ROOT_PATH=/${JUPYTER_NAME}/proxy/7860/
  1. 启动 LLaMA-Factory(LLaMA Board 可视化微调)
bash 复制代码
llamafactory-cli webui

点击链接: http://0.0.0.0:7860


如何微调?

如何修改模型的自我认知?

LLaMA-Factory/data/identity.json ,编辑模式打开该文件,修改{{name}}和{{author}},来改变模型的自我认知。

为了避免过拟合,训练的时候需要增加一些公共知识。

微调的核心是要去设计非常好的指令格式 ,指令格式的设计与上层开发是配套的。这个过程可以想象成:后端写接口,前端调接口去渲染数据,前后端得有个接口约定。

我们微调完大模型后,会将其变为API服务,然后用LangChain去调用,LangChain进行Prompt设计开发。

例如,在构建聊天机器人时,可以使用 LangChain 来搭建机器人的架构、整合各种API和服务,同时精心设计 Prompts 来确保机器人能够准确理解和回应用户的提问。通过不断地测试和优化 Prompts,提升对话的质量,使机器人更加智能和自然。

相关推荐
麻雀无能为力16 小时前
Pytorch框架笔记
人工智能·pytorch·笔记
HenrySmale16 小时前
论文笔记:How Can Recommender Systems Benefit from Large Language Models: A Survey
人工智能·语言模型·chatgpt
闲看云起17 小时前
大语言模型(LLM)入门全解
人工智能·语言模型·自然语言处理
点云侠17 小时前
OpenCV——二值图赋色
人工智能·opencv·计算机视觉
IT_陈寒17 小时前
Vue3性能优化:5个被低估的Composition API技巧让我打包体积减少了40% 🚀
前端·人工智能·后端
火山引擎开发者社区17 小时前
MCP 安全“体检” | AI 驱动的 MCP 安全扫描系统
人工智能·安全
jndingxin17 小时前
算法面试(5)------NMS(非极大值抑制)原理 Soft-NMS、DIoU-NMS 是什么?
人工智能·算法·目标跟踪
cfc124357063117 小时前
bazel编译
人工智能·机器学习