推理引擎

AI技术新视界

大模型推理延迟与吞吐量优化指南本文深入剖析了大语言模型（LLM）推理阶段的核心性能指标与优化策略。文章指出，随着具备复杂推理能力的模型兴起，“测试时计算”成为提升AI表现的关键，但也带来了更高的延迟成本。作者详细拆解了影响推理效率的三大核心指标：延迟（Latency）、吞吐量（Throughput）及首字延迟（TTFT），并揭示了Transformer架构中“预填充”与“解码”阶段的性能瓶颈差异。此外，文章对比了实时、批量及边缘推理等不同应用场景，系统梳理了量化、KV缓存、投机解码等主流加速技术，以及硬件加速的最新趋势。对于开发者而言

AI技术新视界

ds4 (DwarfStar )是什么？ds4（DwarfStar）是一个专为 DeepSeek V4 Flash 模型设计的高性能本地推理引擎，同时支持 GLM 5.2 和高内存系统上的 DeepSeek V4 PRO。项目名源于核心文件 ds4.c，采用"窄域聚焦"的设计哲学——不做通用 GGUF 运行器，而是为特定模型架构在高端个人硬件（Apple Silicon、NVIDIA GPU、AMD Strix Halo）上提供完整的端到端推理体验。

AI技术新视界

whisper.cpp 与 audio.cppwhisper.cpp 和 audio.cpp 都是基于同一底层架构（由 Georgi Gerganov 开发的 ggml 张量库）构建的轻量级 C++ 本地推理引擎，但它们的核心定位、功能范围与应用场景有很大区别。

AI技术新视界

BitNet (bitnet.cpp) ：微软的高性能推理框架BitNet (bitnet.cpp) 是微软官方推出的专为 1-bit 大语言模型（如 BitNet b1.58）设计的高性能推理框架。该项目基于 llama.cpp 构建，旨在通过极致的量化技术（如 I2_S 和 TL1），在 CPU 和 GPU 上实现 1.58-bit 模型的快速且无损推理。其核心目标是降低大模型在边缘设备和本地部署的硬件门槛与能耗，同时保持接近全精度模型的 perplexity 表现。

AI技术新视界

Strata 的工作原理Strata 是一个高性能推理引擎，目标是在单张消费级显卡（≥12GB VRAM）+ ≥32GB 系统内存 + SSD 的家用 PC 上运行 1250 亿参数的 MoE 模型（Qwen3.8-Flash-Next），达到 60–95 tokens/s 的生成速度

程序猿编码

工业视觉多任务方案：可编程梯度信息视觉框架，训练评估 + C++ 部署完整实战在计算机视觉领域，目标检测模型始终面临着“精度”与“速度”的永恒博弈。该模型作为最新一代实时检测框架的工程实现，其核心使命是在不显著增加推理延迟的前提下，大幅提升特征提取的丰富度和梯度回传的有效性。

【FHE 同态加密】我们如何实现同态加密推理（十六）：未完成清单与已知边界（同态加密推理的精度、性能与安全）关键词：同态加密｜ FHE ｜已知边界｜未完成清单｜精度｜安全强度｜可复现性｜机制验证级｜大模型密文推理

【FHE 同态加密】我们如何实现同态加密推理（十五）：实测账本——一跳 1.8 小时，钱花在哪（同态加密推理性能剖析）关键词：同态加密｜ FHE ｜性能剖析｜实测账本｜自举｜域变换｜ CPU 推理｜大模型密文推理｜耗时分析

【FHE 同态加密】我们如何实现同态加密推理（十四）：为什么 `RESULT=PASS` 不是判据（纯 C11 · 零依赖）关键词：同态加密｜ FHE ｜验证｜可复现性｜ RESULT=PASS ｜ max|err| ｜ SHA256 ｜密文验收｜大模型推理

【FHE】（十三）：位级可复现性——4 线程与 8 线程为什么算出不同的结果项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

【FHE】（十二）：为什么我们把 OpenMP 换成了自研线程池项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

【FHE】（十一）：密文链协议——两条不变式，和 112 与 2100 的分工项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

【FHE】（十）：密文里的 attention——没有 max，softmax 怎么办项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

【FHE】我们如何实现同态加密推理（八）：SiLU 的密文化——两条路径，和一个 8 字节的开关项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

程序猿编码

告别改源码适配模型：纯 C++ 可配置 LLM 推理引擎，全格式全结构兼容这是一套纯C++实现的高效、高度可配置大语言模型推理引擎，采用配置驱动的设计理念：接入新模型无需修改源码、重新编译，仅通过编辑模型规格配置文件即可完成适配。

TensorRT 与 ONNX Runtime 推理全解析大模型从训练好的权重变成能对外提供服务的产品，中间必须经过"推理引擎"这一关。TensorRT（及其大模型分支 TensorRT-LLM）和 ONNX Runtime（及其生成式扩展 ONNX Runtime GenAI）是目前工程落地中最常被提到的两套推理方案，一个主打 NVIDIA GPU 上的极致性能，一个主打跨硬件、跨平台的通用部署。理解这两者的定位差异和使用方法，是做大模型推理绕不开的基础知识。

JiMoKuangXiangQu

在 AllWinner T507 上部署 Qwen2.5-0.5B 大语言模型AllWinner T507 是一款面向工业控制的 Arm Cortex-A53 四核处理器，主频最高 1.5GHz，常见于嵌入式 HMI、工业网关等场景。本文记录在这类资源受限的嵌入式设备上，通过交叉编译 llama.cpp 并部署 Qwen2.5-0.5B-Instruct 量化模型的完整过程。

27届大模型面试准备（五十九）：大模型推理引擎内核深度剖析——PagedAttention、调度器与显存管理前面（二十五）讲推理服务化与投机解码、（五十三）讲多模态服务化、（五十四）讲成本与吞吐调优，都偏「架构与成本」。本篇往内核里再钻一层：一个推理引擎（vLLM、TensorRT-LLM、SGLang 之类）到底怎么把一次请求变成显存里的 KV Cache、怎么调度 token、怎么不浪费显存。这是面试「部署优化」这条线的硬核题，也是华为多模态 LLM 岗现场写代码/画架构高频考点。

帅气的小峰

pybind11与nanobind可以共存吗？如何迁移？可以共存，但不建议在同一个 Python 扩展模块（.so/.pyd）中混合使用。不过，在同一个项目中以“分模块”或“渐进迁移”的方式共存是完全可行且常见的实践。

LLM 推理引擎三强争霸——vLLM vs SGLang vs TensorRT-LLM副标题： 2026 年的 LLM 推理引擎格局已经清晰——vLLM 是生产部署的事实标准，SGLang 在 Agent 和结构化输出场景独占鳌头，TensorRT-LLM 是 NVIDIA 硬件上的性能天花板。本文从架构哲学、调度策略、KV Cache 管理、编译优化到实测性能，做一次三强全面对比。