lmms-eval--微调实战笔记

lmms-eval --大模型调用平台，方便新手上手大模型微调
lmms-eval的更多用法,没有mathversehttps://github.com/EleutherAI/lm-evaluation-harness.git

单卡运行，模型gpt-j-6B，数据集hellaswag

git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
cd lm-evaluation-harness
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

#国内需要转镜像
export HF_ENDPOINT=https://hf-mirror.com

#单卡运行，模型gpt-j-6B，数据集hellaswag

lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks Math-PUMA/Math-PUMA_DeepSeek-Math-VL-7B --device cuda:0 --batch_size 8

#多卡运行，模型gpt-j-6B，搞两个数据集lambada_openai,arc_easy
accelerate launch --multi_gpu --num_processes 8 \
    -m lm_eval --model hf \
    --tasks lambada_openai,arc_easy \
    --model_args parallelize=True \
--model_args pretrained=EleutherAI/gpt-j-6B\
    --batch_size 16

#多卡运行，模型gpt-j-6B，搞两个数据集lambada_openai,arc_easy
accelerate launch --multi_gpu --num_processes 8 \
    -m lm_eval --model hf \
    --tasks AI4Math/MathVerse\
    --model_args parallelize=True \
--model_args pretrained=EleutherAI/gpt-j-6B,Math-PUMA/Math-PUMA_DeepSeek-Math-VL-7B\
    --batch_size 16

将数据集改为hf上的任意数据集，需要硬编码