-
llama.cpp =「发动机」------ 纯推理库，命令行或 C/C++ API 调用，什么都要自己拼。
-
Ollama =「整车」------ 把 llama.cpp 发动机包成 Docker 式服务，一键拉模型、自动启停、REST/OpenAI 兼容，零配置就能用。
| 维度 | llama.cpp | Ollama |
|-------|-------------------------------------|-------------------------------------------------------------------------------------------------------------|------|
| 定位 | 底层推理引擎 | 上层模型运行工具 |
| 安装 | 需自编译或下 release 二进制 | 一条 `curl -fsSL https://ollama.ai/install.sh | sh` |
| 模型获取 | 手工下载/转换 GGUF | ollama pull qwen2.5:7b 自动完成 |
| 启动方式 | ./main 或 ./server 手动指定参数 | ollama run qwen2.5:7b 直接对话 |
| 接口 | 命令行、C/C++ API、可启 HTTP 但需自己写 systemd | 默认 11434 端口，OpenAI 格式即开即用 |
| 配置 | 全程命令行参数，无持久化 | 自动写 systemd 服务，Modelfile 管理参数 |
| 多模型并行 | 自己开多个端口/进程 | ollama run llama3 另开实例即可 |
| 跨平台 | 全平台，需自己管 GPU 驱动 | 同样全平台，GPU 依赖自动检测 |
| 适用人群 | 需要深度定制、嵌入式、最小体积 | 想 5 分钟搭好本地 LLM 服务 |