一、问题场景
某次上线后:
👉 并发一高,系统直接卡死
原因:
- 所有请求同步执行
- AI调用耗时高
二、问题分析
同步调用:
python
result = model.generate()
👉 会阻塞线程
三、解决方案
👉 任务队列 + 异步执行
架构:
text
用户请求 → 队列 → worker处理 → 返回结果
四、实操步骤
步骤1:安装
bash
pip install celery redis
步骤2:定义任务
python
from celery import Celery
app = Celery('tasks', broker='redis://localhost:6379/0')
@app.task
def run_ai(prompt):
return model.generate(prompt)
步骤3:提交任务
python
result = run_ai.delay("hello")
步骤4:获取结果
python
print(result.get())
五、验证结果
- 系统不再阻塞
- 支持高并发
六、踩坑记录
1️⃣ Redis连接数限制
2️⃣ 任务堆积
3️⃣ 超时未处理
七、总结
👉 队列是AI系统"稳定器"
八、进阶
- 优先级队列
- 限流机制
九、下一篇
👉 Prompt安全防御