xLLM是基于国产芯片自研的一款大模型推理引擎，能让企业部署AI应用时，性能更高、成本更低。
目前，京东已将xLLM开源至GitHub。同时，采用Apache 2.0 许可证，这也意味着自由地使用于商业化产品，无任何附加条款。
此次开源的核心功能包括：
1）基于请求优先级的动态调度器；
2）动态自适应的 PD 分离架构，可根据负载实时调整PD实例的比例；
3）面向多模态场景的 EPD 混合分离调度器；
4）基于硬件特性的多级流水线的执行引擎；
5）涵盖图融合、投机推理、动态负载均衡的计算优化套件；
6）基于Mooncake的多级 KV 缓存的全局管理；
xLLM大模型推理引擎源自京东零售核心业务。目前，该技术服务了京东AI助手京言、智能客服、风控、供应链助手、广告等场景，效率提升5倍以上，机器成本降低90%。
我们始终坚信，AI Infra生态建设离不开每一位开发者。开源，只是第一步。接下来，京东零售AI Infra团队会根据社区需求，继续开放更多高级能力，并和清华、北大、中科大、北航等产学研生态伙伴一起，推动国产AI Infra技术生态的协同创新，推动行业智能化升级。
同时，我们诚挚地邀请每一位对 AI Infra技术充满热情的开发者加入我们，无论是提交PR、提出Issue、参加Workshop，还是在社群分享技术实践，都将是对国产AI Infra技术生态最大的支持！
GitHub地址: github.com/jd-opensour...
官方技术交流群：
