推理引擎

AI技术新视界

whisper.cpp 与 audio.cppwhisper.cpp 和 audio.cpp 都是基于同一底层架构（由 Georgi Gerganov 开发的 ggml 张量库）构建的轻量级 C++ 本地推理引擎，但它们的核心定位、功能范围与应用场景有很大区别。

AI技术新视界

BitNet (bitnet.cpp) ：微软的高性能推理框架BitNet (bitnet.cpp) 是微软官方推出的专为 1-bit 大语言模型（如 BitNet b1.58）设计的高性能推理框架。该项目基于 llama.cpp 构建，旨在通过极致的量化技术（如 I2_S 和 TL1），在 CPU 和 GPU 上实现 1.58-bit 模型的快速且无损推理。其核心目标是降低大模型在边缘设备和本地部署的硬件门槛与能耗，同时保持接近全精度模型的 perplexity 表现。

AI技术新视界

Strata 的工作原理Strata 是一个高性能推理引擎，目标是在单张消费级显卡（≥12GB VRAM）+ ≥32GB 系统内存 + SSD 的家用 PC 上运行 1250 亿参数的 MoE 模型（Qwen3.8-Flash-Next），达到 60–95 tokens/s 的生成速度

程序猿编码

工业视觉多任务方案：可编程梯度信息视觉框架，训练评估 + C++ 部署完整实战在计算机视觉领域，目标检测模型始终面临着“精度”与“速度”的永恒博弈。该模型作为最新一代实时检测框架的工程实现，其核心使命是在不显著增加推理延迟的前提下，大幅提升特征提取的丰富度和梯度回传的有效性。

【FHE 同态加密】我们如何实现同态加密推理（十六）：未完成清单与已知边界（同态加密推理的精度、性能与安全）关键词：同态加密｜ FHE ｜已知边界｜未完成清单｜精度｜安全强度｜可复现性｜机制验证级｜大模型密文推理

【FHE 同态加密】我们如何实现同态加密推理（十五）：实测账本——一跳 1.8 小时，钱花在哪（同态加密推理性能剖析）关键词：同态加密｜ FHE ｜性能剖析｜实测账本｜自举｜域变换｜ CPU 推理｜大模型密文推理｜耗时分析

【FHE 同态加密】我们如何实现同态加密推理（十四）：为什么 `RESULT=PASS` 不是判据（纯 C11 · 零依赖）关键词：同态加密｜ FHE ｜验证｜可复现性｜ RESULT=PASS ｜ max|err| ｜ SHA256 ｜密文验收｜大模型推理

【FHE】（十三）：位级可复现性——4 线程与 8 线程为什么算出不同的结果项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

【FHE】（十二）：为什么我们把 OpenMP 换成了自研线程池项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

【FHE】（十一）：密文链协议——两条不变式，和 112 与 2100 的分工项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

【FHE】（十）：密文里的 attention——没有 max，softmax 怎么办项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

【FHE】我们如何实现同态加密推理（八）：SiLU 的密文化——两条路径，和一个 8 字节的开关项目仓库 Gitee 主仓：https://gitee.com/pei-xiaoguang/kestrel-llm GitHub 镜像：https://github.com/m13253246268-ship-it/kestrel-llm

程序猿编码

告别改源码适配模型：纯 C++ 可配置 LLM 推理引擎，全格式全结构兼容这是一套纯C++实现的高效、高度可配置大语言模型推理引擎，采用配置驱动的设计理念：接入新模型无需修改源码、重新编译，仅通过编辑模型规格配置文件即可完成适配。

TensorRT 与 ONNX Runtime 推理全解析大模型从训练好的权重变成能对外提供服务的产品，中间必须经过"推理引擎"这一关。TensorRT（及其大模型分支 TensorRT-LLM）和 ONNX Runtime（及其生成式扩展 ONNX Runtime GenAI）是目前工程落地中最常被提到的两套推理方案，一个主打 NVIDIA GPU 上的极致性能，一个主打跨硬件、跨平台的通用部署。理解这两者的定位差异和使用方法，是做大模型推理绕不开的基础知识。

JiMoKuangXiangQu

在 AllWinner T507 上部署 Qwen2.5-0.5B 大语言模型AllWinner T507 是一款面向工业控制的 Arm Cortex-A53 四核处理器，主频最高 1.5GHz，常见于嵌入式 HMI、工业网关等场景。本文记录在这类资源受限的嵌入式设备上，通过交叉编译 llama.cpp 并部署 Qwen2.5-0.5B-Instruct 量化模型的完整过程。

27届大模型面试准备（五十九）：大模型推理引擎内核深度剖析——PagedAttention、调度器与显存管理前面（二十五）讲推理服务化与投机解码、（五十三）讲多模态服务化、（五十四）讲成本与吞吐调优，都偏「架构与成本」。本篇往内核里再钻一层：一个推理引擎（vLLM、TensorRT-LLM、SGLang 之类）到底怎么把一次请求变成显存里的 KV Cache、怎么调度 token、怎么不浪费显存。这是面试「部署优化」这条线的硬核题，也是华为多模态 LLM 岗现场写代码/画架构高频考点。

帅气的小峰

pybind11与nanobind可以共存吗？如何迁移？可以共存，但不建议在同一个 Python 扩展模块（.so/.pyd）中混合使用。不过，在同一个项目中以“分模块”或“渐进迁移”的方式共存是完全可行且常见的实践。

LLM 推理引擎三强争霸——vLLM vs SGLang vs TensorRT-LLM副标题： 2026 年的 LLM 推理引擎格局已经清晰——vLLM 是生产部署的事实标准，SGLang 在 Agent 和结构化输出场景独占鳌头，TensorRT-LLM 是 NVIDIA 硬件上的性能天花板。本文从架构哲学、调度策略、KV Cache 管理、编译优化到实测性能，做一次三强全面对比。

Linux下载、安装llama.cpp-b10068（附安装包llama-b10068-bin-ubuntu-vulkan-x64.tar.gz）llama.cpp 是由保加利亚软件工程师 Georgi Gerganov 于 2023 年 3 月创建的开源 LLM（Large Language Model，大语言模型）推理引擎。最初是 Gerganov 在一个周末为了让 Meta 的 LLaMA 模型在 MacBook 上运行而发起的项目，如今已发展成为本地 AI 推理领域的事实标准。截至 2026 年中，该项目在 GitHub 上已获得约 12 万颗星（Stars）、超过 1600 位贡献者，增长速度超过 PyTorch 和 TensorFlow

时光飞逝的日子

基于 RISC-V 架构的边缘 AI 推理引擎优化设计关键词：RISC-V、边缘 AI、推理引擎、向量扩展、模型量化、低功耗优化摘要：针对嵌入式边缘设备算力弱、内存稀缺、功耗受限的行业痛点，依托RISC-V开源指令集模块化、可定制的核心优势，设计一款支持INT8/FP16混合精度推理的轻量化边缘AI推理引擎。结合RVV向量扩展指令级优化、模型量化压缩算法、自适应内存调度策略，全方位优化CNN模型端侧推理效率，在极低精度损耗的前提下，大幅降低推理延迟与设备功耗，可高效落地于工业视觉检测、智能家居感知、端侧智能监控等主流边缘场景。