lmms-eval--微调实战笔记

lmms-eval --大模型调用平台,方便新手上手大模型微调
lmms-eval的更多用法,没有mathversehttps://github.com/EleutherAI/lm-evaluation-harness.git

单卡运行,模型gpt-j-6B,数据集hellaswag

python 复制代码
git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
cd lm-evaluation-harness
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

#国内需要转镜像
export HF_ENDPOINT=https://hf-mirror.com

#单卡运行,模型gpt-j-6B,数据集hellaswag

lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks Math-PUMA/Math-PUMA_DeepSeek-Math-VL-7B --device cuda:0 --batch_size 8

#多卡运行,模型gpt-j-6B,搞两个数据集lambada_openai,arc_easy
accelerate launch --multi_gpu --num_processes 8 \
    -m lm_eval --model hf \
    --tasks lambada_openai,arc_easy \
    --model_args parallelize=True \
--model_args pretrained=EleutherAI/gpt-j-6B\
    --batch_size 16

#多卡运行,模型gpt-j-6B,搞两个数据集lambada_openai,arc_easy
accelerate launch --multi_gpu --num_processes 8 \
    -m lm_eval --model hf \
    --tasks AI4Math/MathVerse\
    --model_args parallelize=True \
--model_args pretrained=EleutherAI/gpt-j-6B,Math-PUMA/Math-PUMA_DeepSeek-Math-VL-7B\
    --batch_size 16

将数据集改为hf上的任意数据集,需要硬编码

相关推荐
两颗泡腾片29 分钟前
黑马程序员C++核心编程笔记--类和对象--运算符重载
c++·笔记
致***锌2 小时前
上证50ETF期权的交易时间是什么时候?
笔记
thginWalker2 小时前
图解网络-小林coding笔记(持续更新)
网络·笔记
草堂春睡足4 小时前
【Datawhale AI夏令营】科大讯飞AI大赛(大模型技术)/夏令营:让AI理解列车排期表
人工智能·笔记
Olrookie5 小时前
若依前后端分离版学习笔记(一)——本地部署
笔记·后端·开源
##echo6 小时前
嵌入式Linux裸机开发笔记9(IMX6ULL)GPIO 中断实验(1)
linux·c语言·笔记·单片机·嵌入式硬件
我爱学嵌入式9 小时前
C语言第 9 天学习笔记:数组(二维数组与字符数组)
c语言·笔记·学习
_Kayo_17 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
使二颗心免于哀伤19 小时前
《设计模式之禅》笔记摘录 - 10.装饰模式
笔记·设计模式
悠哉悠哉愿意19 小时前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测