项目简介
ds4（DwarfStar）是一个专为 DeepSeek V4 Flash 模型设计的高性能本地推理引擎，同时支持 GLM 5.2 和高内存系统上的 DeepSeek V4 PRO。项目名源于核心文件 ds4.c，采用"窄域聚焦"的设计哲学------不做通用 GGUF 运行器，而是为特定模型架构在高端个人硬件（Apple Silicon、NVIDIA GPU、AMD Strix Halo）上提供完整的端到端推理体验。
核心功能
- 本地推理：支持 DeepSeek V4 / GLM 5.2 的 MoE + 压缩稀疏注意力（CSA/HCA）架构，最高支持 1M token 上下文
- 磁盘即缓存：将 KV cache 作为"一等磁盘公民"，利用高速 SSD 实现会话持久化与前缀复用
- SSD 专家流式加载：对路由专家（routed experts）进行 SSD streaming，可在 RAM 不足时运行超大模型
- 三种前端接口：交互式 CLI REPL（
ds4_cli.c）、兼容 OpenAI/Anthropic 协议的 HTTP 服务器（ds4_server.c）、原生终端编程 Agent（ds4_agent.c，支持 bash/文件工具调用） - 分布式推理：支持张量并行与多 GPU（如 DGX Spark、多卡 L40S）
- 离线工具链：GGUF 量化工具（
gguf-tools/）、速度基准测试（speed-bench/）、能力评测（ds4_eval.c）、定向引导（dir-steering/）
技术栈
- 语言：纯 C（Metal 运行时封装使用少量 Objective-C，CUDA/ROCm 使用
.cu），明确禁止 C++ - 后端加速：Metal（
ds4_metal.m+metal/*.metal着色器）、CUDA（ds4_cuda.cu）、ROCm（ds4_rocm.cu）；CPU 路径仅供参考和调试 - 模型格式：GGUF，权重通过 mmap 加载避免全量拷贝入内存
- 构建：Makefile；模型下载脚本
download_model.sh - 量化：FP8 混合、FP4+FP8 混合，附带 imatrix 生成工具提升低比特量化质量
架构
ds4_engine管理全局模型状态，ds4_session管理用户上下文与 KV cache；会话同步通过 KV 前缀匹配实现增量复用- HTTP 服务器实现 worker 队列与基于磁盘的 KV cache 持久化策略
亮点与特点
- 硬件优先设计：生产路径将整个模型图调度到 Metal/CUDA/ROCm 执行，CPU 仅作参考
- 长上下文效率：通过压缩 KV cache（ratio-4 与 ratio-128 层交替）维持 1M token 上下文
- 超出内存的模型运行：mmap 权重 + SSD 专家流式加载，突破 RAM 容量限制
- 可靠性验证 ：使用官方测试向量校验正确性，并有独立测试套件
ds4_test.c与发布前 QA 流程（QA_BEFORE_RELEASES.md） - 窄而深的 API：刻意收窄公共 API 面，便于针对特定模型优化加载、prompt 渲染与 KV 状态管理
适用场景
- 高端个人硬件（Mac/Apple Silicon、DGX Spark、多卡 L40S、AMD Strix Halo）上运行 DeepSeek V4 / GLM 5.2 本地推理
- 需要超长上下文（最高 1M token）且依赖 KV cache 持久化的会话型应用
- 通过 OpenAI/Anthropic 兼容接口对外提供模型服务的轻量部署
- 终端内带工具调用能力的本地 AI 编程助手场景
- 内存不足以容纳完整模型、需要 SSD 流式加载 MoE 专家的环境
需要注意：它并非通用推理框架，不适合运行 DeepSeek V4/GLM 5.2 之外的模型。