llamafactory推理消除模型的随机性

llamafactory采用vllm推理时有一个do_sample参数,do_sample参数(是否采样)等于True(默认),为False为采用贪婪解码,即为不随机采样,生成将会更加稳定,自己测试了,结果是采用do_sample参数为False时效果有所提升。

参考链接:
https://github.com/vllm-project/vllm/blob/main/vllm/sampling_params.py#L117

temperature为0意味着采用贪婪策略

所以在LLaMA-Factory\src\llamafactory\api\protocol.py中:

将temperature: float | None = None改为temperature: Optional[float] = 0,即为采用贪婪策略,生成的更加稳定

相关推荐
杜子不疼.15 小时前
远程软件大战再升级:2026年2月三大远程控制软件深度横评,安全功能成新焦点
服务器·网络·安全
好好学习天天向上~~15 小时前
5_Linux学习总结_vim
linux·学习·vim
笨笨阿库娅15 小时前
从零开始的算法基础学习
学习·算法
linux kernel16 小时前
第六部分:数据链路层
服务器·网络
Coder个人博客21 小时前
Linux6.19-ARM64 mm mmu子模块深入分析
大数据·linux·车载系统·系统架构·系统安全·鸿蒙系统
较劲男子汉1 天前
CANN Runtime零拷贝传输技术源码实战 彻底打通Host与Device的数据传输壁垒
运维·服务器·数据库·cann
Doro再努力1 天前
Vim 快速上手实操手册:从入门到生产环境实战
linux·编辑器·vim
wypywyp1 天前
8. ubuntu 虚拟机 linux 服务器 TCP/IP 概念辨析
linux·服务器·ubuntu
阿蒙Amon1 天前
TypeScript学习-第10章:模块与命名空间
学习·ubuntu·typescript