服务化

梯度下降者3 天前
机器学习·mlops·特征工程·模型管理·服务化
机器学习算法和架构在 MLOps 框架下的工程实践机器学习, 以下简称为ML, 该算法以及架构所存在的意义, 于一个叫做MLOps的框架场景之中, 所关乎的工程项目的实践情况, 是此文全力介绍的目标。
thesky1234562 个月前
大模型·服务化·chunked prefill·长上下文推理·kv卸载·ring attention·序列并行
27届大模型面试准备（七十四）：大模型长上下文推理与服务化工程——分块 Prefill、KV 卸载与 Ring Attention引言A13 讲了长上下文的"原理与位置编码"，A29 讲了高效注意力，A69 讲了 PD 分离。本篇把这三块在工程服务化层面串起来：当用户输入 32K、128K 甚至百万 token 时，推理服务怎么不爆显存、不卡首包、还能扛住吞吐。这是长文档问答、代码仓库级理解、4MRAG 长多跳推理的必过工程关。
冲上云霄的Jayden2 年前
json·fastapi·代理·跨域·uvicorn·paddlex·服务化
Paddlex服务化代理处理跨域、替换Response中Json key前端直接调用paddlex serve服务时，由于前端会发送OPTIONS请求，paddlex默认会拒绝跨域请求。
我是有底线的