deepseek-R1模型输出时截断异常

deepseek-r1调用时,中间的思考以及答案都可以输出,可以最后却异常。2025-11-14 15:27:52,827 - MainThread - src.session.session_service - session_service.py 131 - ERROR - {'session_id': 'S99d663183d29408991896cb37b913f64', 'agent': 'output', 'id': 'run--17759891-b8a0-4def-b41b-91122e1fde97', 'role': 'assistant', 'content': 'xi', 'type': 'text', 'finish_reason': 'length'}

DeepSeek-R1 的服务端在流式输出时触发了「生成长度限制」,模型被强行截断,于是最后一段内容不完整,SDK/你的代码在收到非正常结束后又继续处理,导致最终抛异常。

建议:R1 至少 4096~8192 才不会被思考部分撑爆。

✔ 设置:

max_tokens = 8192

✔ 系统指令抑制思考过程(如你不需要):

只输出最终答案,不要输出推理过程。

✔ 代码层支持 finish_reason="length",不要抛异常

相关推荐
_itgo1 小时前
意图识别落地方案
运维·docker·容器
mengge.cloud2 小时前
0909华为云计算类综合服务小白实验教程
linux·运维·服务器·网络·华为云·云计算
fpcc2 小时前
c++编程实践—统一初始化
服务器·c++
QYR-分析4 小时前
蓝海赛道高速扩容!全球小型观察ROV市场格局、细分场景与发展趋势分析
大数据·运维·云计算
陈皮糖..4 小时前
从零搭建一个简易 AI 运维问答机器人(RAG + LangChain + Streamlit)
运维·人工智能·ai·langchain·机器人
制造业的搬运工4 小时前
AI服务器背板与传统背板差异:三大设计升级解析
运维·服务器·人工智能·科技·制造·pcb工艺
zhengqweasd5 小时前
Linux网络(一):服务器数据包从网卡到应用程序,完整收包流程详解
linux·服务器·网络
顶点多余5 小时前
仿muduo库实现高并发服务器项目
运维·服务器
脚踏实地,坚持不懈!5 小时前
Linux 6.18.7 内存分配与回收 —— 代码梳理
linux·运维·网络
2601_962300475 小时前
python在运维上可以干什么,请举几个具体的例子
运维·python·系统管理·网络监控·自动化脚本