本地部署DeepSeek-R1(Dify压力测试和性能调优)

安装压测软件

为了有效测试,应在局域网设备测试,我这里用的服务器是局域网内的Ubuntu,下载的压测软件是WRK

复制代码
apt install wrk

测试脚本

为了省事我直接在/root目录下新建lua脚本

复制代码
vim test.lua

脚本内容如下,app-xxxx更换为你工作流的API密钥

复制代码
wrk.method = "POST"
wrk.body = '{"inputs":{"query":"1"},"response_mode":"streaming","user":"dcf压测"}'
wrk.headers["Content-Type"] = "application/json"
wrk.headers["Authorization"] = "Bearer app-08mesPqsdYfybwN6iIjyVcji"

新建测试工作流

这里只新建了个空的工作流直接返回user_id,不加大模型,加上模型有其他延迟

API密钥在检测里面创建

开始压测

测试命令

复制代码
wrk -t50 -c200 -d20s -s test.lua --timeout 10s --latency http://192.168.11.119/v1/workflows/run

【测试20线程,200个链接,持续20秒,持续请求工作流10秒】

平均延迟:251.70毫秒,最大延迟:1.79秒,QPS:每秒851次

性能调优

修改工作进程数量参数SERVER_WORKER_AMOUNT,默认为1,官方参考公式:cpu核数*2+1。

我这里是CPU64核,256G内存,试了一下调成129,Dify有点动不了,然后我改成了65(每次修改.env文件参数需重启Dify)

#将默认的1参数改大,参考cpu核数*2+1

复制代码
SERVER_WORKER_AMOUNT=65

再压测一下,明显快了很多

性能上来了,但是返现Dify里面的所有应用会提示报错:Internal Server Error

同时返回了很多非2XX和3XX响应,还需要修改连接池数量参数,避免超过连接数

我这里将SQLALCHEMY_POOL_SIZE、POSTGRES_MAX_CONNECTIONS、SQLALCHEMY_MAX_OVERFLOW三个参数全部调到了3000,默认30、100能不超过吗。

复制代码
SQLALCHEMY_POOL_SIZE=3000
POSTGRES_MAX_CONNECTIONS=3000
#注意默认.env配置文件里没有SQLALCHEMY_MAX_OVERFLOW这个参数,需手动添加
SQLALCHEMY_MAX_OVERFLOW=3000

重启Dify再测试,测一次1700+个对话

相关推荐
飞哥数智坊3 小时前
DeepSeek永久降价,78元到9元,这是要革谁的命?
deepseek
修罗王9 小时前
Linux Docker 服务管理与排查实战指南(新手速查版)
运维·docker
iini10 小时前
nRF Connect SDK 开发新体验:VS Code + Claude Code + DeepSeek + Nordic MCP 全流程(蓝牙开发实例)
agent·ai编程·nrf connect sdk·zephyr·蓝牙开发·deepseek·mcp·claude code·nordic mcp
张龙68712 小时前
Docker 镜像瘦身实战:从 1.2GB 到 128MB,我踩过的 7 个坑和一套可复制的方法论
运维·后端·docker
DS随心转小程序12 小时前
文心文字怎么转为 word?告别繁琐排版操作,AI 导出鸭一站式完成文档转换工作
人工智能·word·豆包·deepseek·ai导出鸭
杨浦老苏13 小时前
开源堡垒机 Warpgate:一个容器搞定 SSH、MySQL 和 Web 访问
运维·docker·ssh·堡垒机·群晖
ERD Online14 小时前
docker-compose 一键部署的 MIT 开源数据库建模平台
数据库·docker·开源
thesky12345615 小时前
27届大模型面试准备(二十一):MoE 架构全攻略——稀疏激活、路由、负载均衡与专家并行
大模型·负载均衡·moe·deepseek·混合专家·专家并行·稀疏激活
三言老师15 小时前
CentOS7.9 + Kubernetes 1.18.20 -清理所有 docker / containerd 残留
docker·容器·kubernetes
circuitsosk15 小时前
从Docker到Kubernetes:AI应用服务化与弹性伸缩的落地实践
人工智能·docker·kubernetes·ai应用部署