llamafactory推理消除模型的随机性

llamafactory采用vllm推理时有一个do_sample参数,do_sample参数(是否采样)等于True(默认),为False为采用贪婪解码,即为不随机采样,生成将会更加稳定,自己测试了,结果是采用do_sample参数为False时效果有所提升。

参考链接:
https://github.com/vllm-project/vllm/blob/main/vllm/sampling_params.py#L117

temperature为0意味着采用贪婪策略

所以在LLaMA-Factory\src\llamafactory\api\protocol.py中:

将temperature: float | None = None改为temperature: Optionalfloat = 0,即为采用贪婪策略,生成的更加稳定

相关推荐
FlightYe10 小时前
音视频修炼之容器与协议(四):RTSP详解
android·linux·ffmpeg·音视频·dash
刘马想放假11 小时前
CANviz 使用指南|Linux 安装、DBC 解码、实时曲线与 J1939 实战
linux·python·websocket
kloc12 小时前
聊天室项目入口网关子服务的实现
linux·c++
GeW12 小时前
深圳APEC峰会倒计时:数据库与Linux运维的"隐形考场"
linux
梦到啥说啥14 小时前
Linux网络编程:UDP网络协议
linux·网络协议·udp
无足鸟ICT15 小时前
【RHCA+】ipcrm命令(删除IPC资源)
linux
星恒随风16 小时前
MySQL 从零入门(四):表的增删改查与基础查询详解
linux·服务器·数据库·笔记·mysql
li星野16 小时前
相位补偿学习记录:把被颅骨“打乱“的声波重新对齐
学习
Z21-X17 小时前
云原生运维学习笔记:ECShop全链路容器化部署与Docker底层资源隔离深度剖析
运维·笔记·学习·云原生
Zucker n17 小时前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu