京东正式开源基于国产芯片自研的xLLM大模型推理引擎

xLLM是基于国产芯片自研的一款大模型推理引擎,能让企业部署AI应用时,性能更高、成本更低。

目前,京东已将xLLM开源至GitHub。同时,采用Apache 2.0 许可证,这也意味着自由地使用于商业化产品,无任何附加条款。



此次开源的核心功能包括:

1)基于请求优先级的动态调度器;

2)动态自适应的 PD 分离架构,可根据负载实时调整PD实例的比例;

3)面向多模态场景的 EPD 混合分离调度器;

4)基于硬件特性的多级流水线的执行引擎;

5)涵盖图融合、投机推理、动态负载均衡的计算优化套件;

6)基于Mooncake的多级 KV 缓存的全局管理;



xLLM大模型推理引擎源自京东零售核心业务。目前,该技术服务了京东AI助手京言、智能客服、风控、供应链助手、广告等场景,效率提升5倍以上,机器成本降低90%。

我们始终坚信,AI Infra生态建设离不开每一位开发者。开源,只是第一步。接下来,京东零售AI Infra团队会根据社区需求,继续开放更多高级能力,并和清华、北大、中科大、北航等产学研生态伙伴一起,推动国产AI Infra技术生态的协同创新,推动行业智能化升级。

同时,我们诚挚地邀请每一位对 AI Infra技术充满热情的开发者加入我们,无论是提交PR、提出Issue、参加Workshop,还是在社群分享技术实践,都将是对国产AI Infra技术生态最大的支持!

GitHub地址: github.com/jd-opensour...

官方技术交流群:



相关推荐
一条Go10 小时前
开源新生代雷达 · 第 12 期
github
徐小夕12 小时前
CADViewer-Skill:让 Agent 原生支持 DWG 解析、可视化图统计、图纸导出
前端·vue.js·github
怕浪猫21 小时前
这个十几个agent 协作项目值得关注
人工智能·面试·github
wflynn1 天前
GitHub 今日推荐|Stela:在 PC 上直接启动 macOS 的翻译层
rust·开源·github
wflynn1 天前
GitHub 日榜趋势速报 | 2026-11-14
开源·github
一条Go1 天前
接收方合并去重:同一个人为什么只该收到一次通知
后端·架构·github
guuguo1 天前
Gemini 4 屠榜后连夜切到 Antigravity,顺手用一行命令搞定全中文界面与思考
人工智能·开源·github
为思念酝酿的痛2 天前
Git基本操作
git·github
芯门2 天前
GitHub「用好 AI」工具生态全景:2409 个仓库 Star 排行调研(2026-11)
人工智能·github