推理

【推理】NVIDIA DLI培训：大规模部署与优化 AI 推理（推理原理，K8S，网关层，pd分离，MoE，Dynamo）课程地址大规模 AI 推理系统需要兼顾模型质量、延迟、吞吐量、成本与可靠性。推理优化决定处理能力，网关与编排机制决定这些能力如何稳定地服务于业务。

【AI】大模型推理中 KV Cache 原理解析原生无状态大模型 API 本身没有会话记忆，每一次独立请求都是一次全新推理，对话时必须在本轮请求里完整带上 system prompt、工具描述和历史对话消息，模型读完这一整段上下文，再输出本轮回复。

程序猿编码

YOLOv5/v7/YOLOX 全支持：基于 TensorRT 的工业视觉推理底座详解在深度学习模型落地的过程中，开发者往往需要面对 TensorRT 底层繁琐的 C++ API 和复杂的构建流程。这个项目的核心目标就是让高性能部署变得极其简单。它基于 TensorRT 打造了一套高性能推理框架，提供 C++ 和 Python 两套完整的高层 API 封装，将底层复杂的内存管理、引擎构建等细节完全屏蔽。该项目支持一键模型编译，开发者只需简单配置即可实现 FP32、FP16、INT8 三种精度的自动转换。针对 TensorRT 开发中最令人头疼的自定义算子问题，该项目也提供了大幅简化的插件

救救孩子把

AI面试八股文-14_14-MCP-Skill-Function Callingpdf版下载链：https://pan.quark.cn/s/9cc742e9c2a8更新： 2026-10-12 难度： ⭐⭐⭐⭐⭐ 考点： MCP 2026-07-28、Agent Skills、Function Calling、长任务、授权、沙箱与企业治理

Web3&Basketball

用 SGLang 决策端点做毫秒级 Agent 路由本文结论先行：把「分类 / 路由 / 判定」这类任务从生成模型里拆出来，交给专门的决策模型（decision model），能把单次延迟从几百毫秒压到 sub-100ms，成本降到原来的几十分之一。SGLang 已在 nightly 加入 /v1/decisions 与 /v1/systemone 端点，AWS 也开源了 Strands Decider 2B，这个方向已经从概念变成可落地的工程选项。

程序猿编码

C++/CUDA 手写 LLM 推理引擎：拆解 vLLM 核心 PagedAttention 与连续批处理本工程是一套C++ + CUDA从零实现的轻量化大模型推理服务，对标vLLM核心设计思想，剥离工业级框架复杂封装，专门用于学习现代LLM推理底层原理。整套工程由两大部分构成：完整推理服务源码 + 配套学习教程。模型选用Llama 3.2 1B Instruct，权重采用Safetensors格式存储，全部计算逻辑由手写CUDA Kernel结合cuBLAS完成。

Web3&Basketball

CRM Agent 后训练实战：3 倍更少错误9 月 15 日的 Dreamforce 上，Salesforce 和英伟达联合发布了一个 CRM 推理模型 Koa。成绩单里最扎眼的一条是：在自家 CRM 基准上，错误率只有基座的三分之一。但真正值得抄的不是这个结果，是它的做法。Koa 没有训练自己的基座，而是拿英伟达的开源权重模型 Nemotron 3 Super（120B）做后训练，训练语料全部由合成场景构成，建模自 Salesforce 近 27 年、覆盖 14 个以上行业的 CRM 部署经验。官方口径是：没有使用任何客户数据。这对企业落地智能

程序猿编码

不用 GPU！RK3588 跑视觉大模型，Qwen3.5-2B VLM 端侧落地这是一套面向瑞芯微RK3588 NPU硬件加速的Qwen3.5-2B视觉语言模型推理实现，完全基于原生C++构建，配套专用大模型运行时与神经网络加速引擎，完整支持单图像理解与视频序列分析两种模式。

程序猿编码

扔掉 vLLM！从零构建 Qwen3-8B 推理引擎，C++/CUDA 实现性能追平 98%这是一套从零开始完整实现的Qwen3-8B大模型推理栈，采用「C++/CUDA底层计算 + Go上层服务」的双层架构，不依赖PyTorch、通用推理框架等第三方组件，走精简代码路线：放弃宽泛的多模型支持，只聚焦Qwen3-8B一条完整的推理路径，换来代码干净、逻辑清晰、易于阅读与二次开发。

程序猿编码

扔掉 Python！纯 C++ 本地跑扩散 TTS，GGML 加持，支持 RK3588 NPU 加速这是一套完全原生C++实现的文本转语音（TTS）推理引擎，核心基于GGML轻量张量库构建，采用两阶段扩散式TTS架构：第一阶段由基于Qwen3骨干的扩散语言模型，将输入文本转换为离散音频编码；第二阶段由卷积编解码器将音频编码还原为24kHz语音波形。

Web3&Basketball

ChatGPT 路由自证：跨客户端实测对照你在界面上选中的那个模型名，未必就是真正给你算的那一个。这不是猜测。OpenAI 开发者社区从 9 月初起有多起可复现的报告：请求侧的 metadata 明确写着 model_slug: gpt-5-6-thinking、thinking_effort: extended，而同一次请求最终的服务端 metadata 报的是 model_slug: gpt-5-5-mini，并伴随 did_auto_switch_to_reasoning: false、is_autoswitcher_enabled: f

程序猿编码

LLM+Agent 全栈推理底座：Triton 算子优化・语义级缓存・分布式调度这是一套从算子层到服务层全链路自主研发的大语言模型推理引擎，底层基于自定义CUDA内核、Triton算子与纯C++ CPU运行时构建，不依赖vLLM、llama.cpp等第三方推理框架，仅以PyTorch为基础依赖，整体遵循「最小依赖、按需加载、明确降级」的设计原则。

网络工程小王

【LLM开发实验】LLM推理基本介绍目录显存需求估算：参数量经验法则基本计算激活内存激活占用显存 (VRAM)键值（KV）缓存关于权重 (weight)的考量

天涯明月1993

SGLang深度研究报告一份面向工程实践的系统剖析，覆盖设计动机、前后端协同架构、RadixAttention、约束解码、零开销调度、投机解码、分布式部署与真实性能基准。版本基线：SGLang v0.5.x（2026 年中），论文原作 NeurIPS 2024。

HyperAI超神经

基于 Strassen 与 LCMA 低复杂度矩阵乘，腾讯 FalconGEMM 探索超越硬件峰值的矩阵乘优化8 月 1 日，HyperAI 主办的 Meet AI Compiler 技术沙龙第 9 期在北京举办。本期活动聚焦 AI 编译技术的最新进展，多位来自产业界和科研机构的专家围绕编程语言、算子开发、编译优化与推理执行展开分享，呈现 AI 编译器从上层语言表达到硬件执行的协同演进。

算力网络怎么建？训练、推理、采集、调度——四类场景架构与选型完全指南上一篇《什么是算力网络？》我们厘清了算力网络的定义、三层逻辑和它与智算网络、算网融合、AI Fabric 的边界。但对真正要动手的技术团队来说，光有认知不够——你需要知道：我的业务对应哪类场景？该建 L2 还是 L3？自建还是买服务？怎么选不踩坑？

西西弗Sisyphus

部署模型的优化：图像标准化预处理从三步到一步乘加（2）flyfish在计算机视觉模型的工程落地中，输入图像的预处理是一个看似基础却极易踩坑的环节。很多开发者直接照搬训练代码中的归一化-减均值-除以标准差」三步式写法也有不少开发者混淆不同框架、不同工具链中的mean/scale参数定义，导致模型输入分布与训练时不匹配。

最新 Paddle-Lite Android平台编译一.克隆源码 (只拉取最新的代码(包括子模块))二.安装基本编译环境三.配置环境变量四.修改编译脚本修改项目目录下 lite/tools/build_android.sh

小北的AI科技分享

AI算力：驱动智能时代的隐形引擎自从GPT引发AI应用的浪潮兴起, 直至等大模型在垂直行业实现落地这一情况出现, 一场围绕“算力”作为核心的生产力革命, 正在全球的范围之内全面展开, AI算力, 也就是人工智能的计算能力, 正好像工业时代的电力情况一样, 成为数字经济的基础设施。本文将会从技术演进、市场格局、应用场景以及成本优化这四个维度, 客观地去解析AI算力的当前状况与未来发展态势。

小北的AI科技分享

AI大模型搭建，从入门到实践近年来, 、Qwen等这类作为代表的开源大模型呈持续涌现态势, 越来越多的企业开始留意怎样把AI大模型切实“搭建”起来, 并且应用于日常业务里。然而, 从模型选择这一方面, 到硬件配置这一要点, 再到系统集成这一环节, 每一步均充斥着技术挑战以及决策难点。本文会以客观、专业的视角, 深入剖析AI大模型搭建的全流程, 给出精准的数据以及可操作的参考标准, 助力读者理清思路。