llama微调后大模型测评

一：自行问答

加载微调后的模型，问答

同问题复现

1.微调模型

llamafactory-cli chat \
--model_name_or_path /mnt/c/Users/hsp/.cache/modelscope/hub/models/Qwen/Qwen2.5-7B-Instruct \
--model_type qwen2 \
--template qwen \
--finetuning_type lora \
--lora_dir ./lora_qwen

2，原模型

llamafactory-cli chat \
--model_name_or_path /mnt/c/Users/hsp/.cache/modelscope/hub/models/Qwen/Qwen2.5-7B-Instruct \
--model_type qwen2 \
--template qwen

二：自动化指标测评（llama内置）

llamafactory-cli eval \
--model_name_or_path 你的本地模型路径 \
--finetuning_type lora \
--lora_dir ./lora_qwen \
--eval_tasks ceval,cmmlu

跑完自动输出：准确率、得分、各项指标

ceval：中文能力测评；cmmlu：多学科综合测评