大模型微调过程

环境配置

安装命令:

升级pip upgrade

复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" -i 镜像源
或者
pip install llamafactory -i xxx

安装完毕后,输入命令 llamafactory-cli version,如下图示则安装成功!

启动LLaMaa-Factory

进行端口映射命令(可选)

由于阿里云平台的端口映射似乎存在问题,这会导致启动LLaMA Factory的Web界面显示异常,所以需要手动在命令行运行如下命令:

复制代码
export GRADIO_SERVER_PORT=7860 GRADIO_ROOT_PATH=/${JUPYTER_NAME}/proxy/7860/

说明:

  • 最新版本的魔搭社区,不需要进行端口映射命令。
  • 直接点击启动LLamaFactory之后命令行提示内容中的http://127.0.0.1:7860 会打开新开一个页面,打开类似https://1081840-proxy-7860.dsw-gateway-cn-hangzhou.data.aliyun.com/的地址。
  • 如果上述操作不起作用,可以尝试如下方式排查:更换浏览器、或者清楚浏览器历史记录和cookie...

输入命令

复制代码
llamafactory-cli webui

启动llama-factory的webui

此时,transformers版本为:

transformers 4.57.1

问题答疑

interface.py文件,要修改为True;

需不需要开放端口???7860

按照上述问题,下载文件并修改文件名,移动到对应路径下。

进一步,执行命令,增加权限

复制代码
chmod +x 路径/frpc_linux_amd64_v0.3

最终启动:

界面显示

相关推荐
Flynn Liang1 分钟前
AI 应用的安全红线:Spring AI 下的 Prompt 注入防护、PII 脱敏、输出审计与密钥管理
人工智能·安全·spring·数据泄露·springai·prompt注入
朗迪锋6 分钟前
SoErgo重塑“四特”场景下的人机协同与安全边界
人工智能·安全·人机工程
stormzhangV13 分钟前
未来十年的建议
人工智能·aigc·agent
nm_zfyjt22 分钟前
信息流广告投放优化实践:线索成本评估模型与转化链路重构(家装建材案例)
算法·重构·内蒙古朋友圈广告服务商·内蒙古朋友圈获客
深圳行云创新27 分钟前
智能体架构之争:单Agent加Skills,还是多加几个Agent
人工智能·架构·软件工程
用户3600555790030 分钟前
Kestrel_VLLM - 31 · MTP 头上 GPU:一个独立槽位,与一条抽出来共用的注意力
人工智能
老金带你玩AI37 分钟前
Codex改了又测、测了又改,我一查Token才发现这个坑
人工智能
IT_陈寒1 小时前
当Java的hashCode遇上Lombok,我的缓存被全清了
前端·人工智能·后端
刘胡子大叔1 小时前
评测驱动优化:失败样本回流 Prompt 的闭环
人工智能·prompt