deepseek-R1模型输出时截断异常

deepseek-r1调用时,中间的思考以及答案都可以输出,可以最后却异常。2025-11-14 15:27:52,827 - MainThread - src.session.session_service - session_service.py 131 - ERROR - {'session_id': 'S99d663183d29408991896cb37b913f64', 'agent': 'output', 'id': 'run--17759891-b8a0-4def-b41b-91122e1fde97', 'role': 'assistant', 'content': 'xi', 'type': 'text', 'finish_reason': 'length'}

DeepSeek-R1 的服务端在流式输出时触发了「生成长度限制」,模型被强行截断,于是最后一段内容不完整,SDK/你的代码在收到非正常结束后又继续处理,导致最终抛异常。

建议:R1 至少 4096~8192 才不会被思考部分撑爆。

✔ 设置:

max_tokens = 8192

✔ 系统指令抑制思考过程(如你不需要):

只输出最终答案,不要输出推理过程。

✔ 代码层支持 finish_reason="length",不要抛异常

相关推荐
土星云SaturnCloud1 小时前
边缘侧大模型部署的新利器——国科环宇GK 300I大模型一体机深度评测与架构解析
服务器·人工智能·ai·边缘计算
晚风吹长发2 小时前
Docker基础——Docker Network(网络详解)
linux·运维·网络·ubuntu·docker·容器
Cx330_FCQ2 小时前
Tmux使用
服务器·git·算法
高磊20053 小时前
LVS(Linux virual server)
linux·服务器·lvs
LedgerNinja4 小时前
WEEX API 自动化交易实践:下单、撤单、订单查询与状态闭环
运维·自动化
山峰哥4 小时前
数据库性能救星:Explain执行计划深度拆解
服务器·开发语言·数据库·sql·启发式算法
执笔画流年呀4 小时前
Linux搭建Java项目部署环境
java·linux·运维
Dory_Youth5 小时前
联想笔记本电脑失灵
运维·笔记·电脑
W.W.H.5 小时前
嵌入式 Linux外接USB/WIFI模块兼容5G频段实战
linux·运维·5g·wifi
运维大师5 小时前
【K8S 运维实战】24-资源优化HPA与VPA
运维·kubernetes·github