Day27 - 大模型微调，LLaMA搭建

指令微调

SFT：Supervised Fine - Tuning

• 自我认知
  • self-cognition
  • identity
• 私有知识 / 具体任务
• 公共知识

LLaMA-Factory 搭建过程

1. 下载 LLaMA-Factory 源代码

​git clone https://github.com/hiyouga/LLaMA-Factory.git

2. 安装 LLaMA-Factory 依赖包

cd LLaMA-Factory
pip install -e ".[torch,metrics]"

3. 魔塔社区映射端口（各个平台都不一样）

export GRADIO_SERVER_PORT=7860 GRADIO_ROOT_PATH=/${JUPYTER_NAME}/proxy/7860/

4. 启动 LLaMA-Factory（LLaMA Board 可视化微调）

llamafactory-cli webui

点击链接： http://0.0.0.0:7860

---

如何微调？

如何修改模型的自我认知？

LLaMA-Factory/data/identity.json ，编辑模式打开该文件，修改{{name}}和{{author}}，来改变模型的自我认知。

为了避免过拟合，训练的时候需要增加一些公共知识。

微调的核心是要去设计非常好的指令格式 ，指令格式的设计与上层开发是配套的。这个过程可以想象成：后端写接口，前端调接口去渲染数据，前后端得有个接口约定。

我们微调完大模型后，会将其变为API服务，然后用LangChain去调用，LangChain进行Prompt设计开发。

例如，在构建聊天机器人时，可以使用 LangChain 来搭建机器人的架构、整合各种API和服务，同时精心设计 Prompts 来确保机器人能够准确理解和回应用户的提问。通过不断地测试和优化 Prompts，提升对话的质量，使机器人更加智能和自然。