llamafactory推理消除模型的随机性

llamafactory采用vllm推理时有一个do_sample参数,do_sample参数(是否采样)等于True(默认),为False为采用贪婪解码,即为不随机采样,生成将会更加稳定,自己测试了,结果是采用do_sample参数为False时效果有所提升。

参考链接:
https://github.com/vllm-project/vllm/blob/main/vllm/sampling_params.py#L117

temperature为0意味着采用贪婪策略

所以在LLaMA-Factory\src\llamafactory\api\protocol.py中:

将temperature: float | None = None改为temperature: Optional[float] = 0,即为采用贪婪策略,生成的更加稳定

相关推荐
yyyyy_abc20 小时前
ceph学习笔记
笔记·ceph·学习
晓梦林20 小时前
ximai靶场学习笔记
android·笔记·学习
nashane20 小时前
HarmonyOS 6学习:外接键盘CapsLock与长截图功能的实战调试与完整解决方案
学习·华为·计算机外设·harmonyos
米高梅狮子20 小时前
03.网络类服务实践
linux·运维·服务器·网络·kubernetes·centos·openstack
June`20 小时前
网络编程时内核究竟做了什么???
linux·服务器·网络
原来是猿20 小时前
腾讯云服务器端口开放完全指南
服务器·网络·腾讯云
一口吃俩胖子21 小时前
【脉宽调制DCDC功率变换学习笔记021】时域性能准则
笔记·学习
你的保护色21 小时前
【无标题】
java·服务器·网络
楼兰公子21 小时前
RK3588 + Linux7.0.3 网络工程调试错误速查手册
linux·网络·3588
Elnaij21 小时前
Linux系统与系统编程(9)——自设计shell与基础IO
linux·服务器