lmms-eval--微调实战笔记

lmms-eval --大模型调用平台,方便新手上手大模型微调
lmms-eval的更多用法,没有mathversehttps://github.com/EleutherAI/lm-evaluation-harness.git

单卡运行,模型gpt-j-6B,数据集hellaswag

python 复制代码
git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
cd lm-evaluation-harness
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

#国内需要转镜像
export HF_ENDPOINT=https://hf-mirror.com

#单卡运行,模型gpt-j-6B,数据集hellaswag

lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks Math-PUMA/Math-PUMA_DeepSeek-Math-VL-7B --device cuda:0 --batch_size 8

#多卡运行,模型gpt-j-6B,搞两个数据集lambada_openai,arc_easy
accelerate launch --multi_gpu --num_processes 8 \
    -m lm_eval --model hf \
    --tasks lambada_openai,arc_easy \
    --model_args parallelize=True \
--model_args pretrained=EleutherAI/gpt-j-6B\
    --batch_size 16

#多卡运行,模型gpt-j-6B,搞两个数据集lambada_openai,arc_easy
accelerate launch --multi_gpu --num_processes 8 \
    -m lm_eval --model hf \
    --tasks AI4Math/MathVerse\
    --model_args parallelize=True \
--model_args pretrained=EleutherAI/gpt-j-6B,Math-PUMA/Math-PUMA_DeepSeek-Math-VL-7B\
    --batch_size 16

将数据集改为hf上的任意数据集,需要硬编码

相关推荐
巴伦是只猫36 分钟前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
X_StarX6 小时前
【Unity笔记02】订阅事件-自动开门
笔记·学习·unity·游戏引擎·游戏开发·大学生
MingYue_SSS6 小时前
开关电源抄板学习
经验分享·笔记·嵌入式硬件·学习
巴伦是只猫7 小时前
【机器学习笔记 Ⅱ】1 神经网络
笔记·神经网络·机器学习
weixin_437398217 小时前
转Go学习笔记(2)进阶
服务器·笔记·后端·学习·架构·golang
teeeeeeemo8 小时前
回调函数 vs Promise vs async/await区别
开发语言·前端·javascript·笔记
致***锌12 小时前
期权标准化合约是什么?
笔记
Wilber的技术分享13 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
V我五十买鸡腿14 小时前
顺序栈和链式栈
c语言·数据结构·笔记·算法
麟城Lincoln15 小时前
【RHCSA-Linux考试题目笔记(自用)】servera的题目
linux·笔记·考试·rhcsa