*部署/推理大模型的程序架构(推理引擎/框架)**及其开源协议。
以下是当前主流大模型推理框架的开源协议汇总:
一、核心推理引擎
| 框架 | 开源协议 | 说明 |
|---|---|---|
| llama.cpp | MIT | 最主流的 C/C++ 本地推理引擎,极度宽松,可商用闭源二次开发 |
| vLLM | Apache 2.0 | 高吞吐生产级推理引擎,含专利授权条款,可商用 |
| SGLang | Apache 2.0 | LMSYS 出品,高性能 serving 框架,主仓库 Apache 2.0,部分子项目 MIT |
| TensorRT-LLM | Apache 2.0 | NVIDIA 官方,2025年3月后全面开源,可商用 |
| TGI (Text Generation Inference) | Apache 2.0 | Hugging Face 官方生产级推理服务,当前为 Apache 2.0(早期曾用过 HFOIL) |
| Triton Inference Server | BSD-3-Clause | NVIDIA 通用模型服务框架,类似 MIT 的宽松协议 |
| MLC LLM | Apache 2.0 | 基于 Apache TVM,支持多端部署(浏览器、手机、桌面) |
| ONNX Runtime | MIT | Microsoft 出品,跨平台推理加速器 |
二、本地部署/桌面工具
| 框架 | 开源协议 | 说明 |
|---|---|---|
| Ollama | MIT | 最流行的本地模型管理工具,底层基于 llama.cpp |
| GPT4All | MIT | Nomic AI 出品,隐私优先的本地聊天工具 |
| KoboldCpp | AGPL-3.0 | 基于 llama.cpp 的创意写作/UI 工具,有传染性,修改后必须开源 |
| text-generation-webui | AGPL-3.0 | Web UI 推理工具,同样具有强开源传染性 |
| LM Studio | 闭源/专有 | 免费使用但不开源,有商业版 |
三、服务/云原生框架
| 框架 | 开源协议 | 说明 |
|---|---|---|
| BentoML | Apache 2.0 | 通用 ML 模型服务框架 |
| Ray Serve | Apache 2.0 | 分布式可扩展 serving |
| TabbyAPI | 未确认 | 通常为 AGPL 或类似(需查具体仓库) |
四、协议宽松度对比(对商业使用的建议)
| 协议 | 商用 | 闭源修改 | 专利授权 | 风险提示 |
|---|---|---|---|---|
| MIT | ✅ | ✅ | 无 | 最推荐,几乎零限制 |
| BSD-3-Clause | ✅ | ✅ | 无 | 与 MIT 类似 |
| Apache 2.0 | ✅ | ✅ | ✅ 含专利授权 | 最推荐用于企业,有专利保护 |
| AGPL-3.0 | ✅ | ❌ 必须开源 | 无 | 强传染性,服务端修改也必须开源,慎用 |
五、选型建议
- 要闭源商用/嵌入产品 :优先选 MIT/Apache 2.0 的框架,如 llama.cpp、Ollama、vLLM、SGLang、TensorRT-LLM
- 要生产级高吞吐 :vLLM、SGLang、TensorRT-LLM、TGI 都是 Apache 2.0,可放心商用
- 要注意 AGPL 陷阱 :KoboldCpp、text-generation-webui 是 AGPL-3.0,如果你修改了代码并在网络上提供服务,必须开源你的修改
- 本地快速体验 :Ollama (MIT) 或 LM Studio (闭源免费) 最方便
如果你需要,我可以针对某个具体框架深入分析其协议对商业场景的影响。