atomgit - atomgit技术,学习,经验文章

GitCode官方

1 小时前

做难而正确的 AI Infra 创新——专访国产大模型推理引擎 xLLM 社区负责人刘童璇在 DeepSeek 等国产大模型加速普及的今天，AI 基础设施（AI Infra）如同数字时代的“水电煤”。然而，长期以来，这一领域的核心技术被 vLLM、TensorRT-LLM 等海外框架牢牢占据。随着一支年轻团队打造的 xLLM 在今年 8 月底出世，这一局面正悄然改变。