大模型微调过程

环境配置

安装命令:

升级pip upgrade

复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" -i 镜像源
或者
pip install llamafactory -i xxx

安装完毕后,输入命令 llamafactory-cli version,如下图示则安装成功!

启动LLaMaa-Factory

进行端口映射命令(可选)

由于阿里云平台的端口映射似乎存在问题,这会导致启动LLaMA Factory的Web界面显示异常,所以需要手动在命令行运行如下命令:

复制代码
export GRADIO_SERVER_PORT=7860 GRADIO_ROOT_PATH=/${JUPYTER_NAME}/proxy/7860/

说明:

  • 最新版本的魔搭社区,不需要进行端口映射命令。
  • 直接点击启动LLamaFactory之后命令行提示内容中的http://127.0.0.1:7860 会打开新开一个页面,打开类似https://1081840-proxy-7860.dsw-gateway-cn-hangzhou.data.aliyun.com/的地址。
  • 如果上述操作不起作用,可以尝试如下方式排查:更换浏览器、或者清楚浏览器历史记录和cookie...

输入命令

复制代码
llamafactory-cli webui

启动llama-factory的webui

此时,transformers版本为:

transformers 4.57.1

问题答疑

interface.py文件,要修改为True;

需不需要开放端口???7860

按照上述问题,下载文件并修改文件名,移动到对应路径下。

进一步,执行命令,增加权限

复制代码
chmod +x 路径/frpc_linux_amd64_v0.3

最终启动:

界面显示

相关推荐
微三云 - 廖会灵 (私域系统开发)1 小时前
存量社区破局:当物业困局遇上消费返物业费,重构社区商业新生态
大数据·人工智能·重构
T型码农要学习3 小时前
开源项目5|FileBrowser:免费在线文件管理器!随时随地管控服务器文件
运维·服务器·人工智能·开源
智恒百亿3 小时前
8 卡 RTX 5090 服务器深度实测:256GB 显存能否支撑 70B 模型微调?选型参考
大数据·运维·服务器·人工智能
ai小陈5 小时前
PyTorch DataLoader数据加载性能排查:GPU利用率低的实操指南
人工智能·pytorch·python·深度学习·ai·gpu算力
测试者家园7 小时前
为什么意图驱动测试是自动化测试的下一站,而不是替代品
自动化测试·软件测试·人工智能·持续测试·ai赋能·智能化测试·软件测试变革
D202020208 小时前
TikTok Shop禁止AI语音直播落地后,跨境卖家如何通过达秘合规调整带货内容
人工智能
像风一样自由20208 小时前
20.Milvus常见问题检索不到维度错误和数据一致性
人工智能·大模型·milvus
现代野蛮人8 小时前
【深度学习实验】—— 基于 LSTM 与 Optuna 调参的丙型肝炎预测
人工智能·深度学习·lstm
支支დ8 小时前
VO by Vercel 前端特定优势:为什么它是构建 AI 应用的新范式
前端·人工智能
ZGIAI9 小时前
ZGI 让那些"等你去处理"的事,真正跑起来
人工智能·架构