llm

GPT-Live 全双工语音 Agent 深度拆解：连续交互 + 后台委托 + Voice Runtime 三层架构注：标 ✅ 的项目均经过 2 个以上独立信源印证（含 OpenAI 官方公告原文 + 中文媒体转载）；标 ⚠️ 的项目在本文写作时未能从官方公告或多家独立来源同时获得确认，标注为"待核"以避免引入未经验证的事实。

梯度的呼吸：激活、归一化、反传与残流 —— 深度网络的四道命门大模型的深度学习基础，核心在于激活函数、归一化、梯度流、反向传播四个工程要点的精确驾驭。本文从 SwiGLU 设计权衡、Pre-Norm 与 Post-Norm 的梯度稳定性、梯度检查点的显存换算、残差连接的初始化缩放四个切口，给出源码级实现与企业级踩坑复盘。

第一章：从零构建终端 AI 助手 —— Octo 项目实战LLM 智能体开发系列 · 第一章本章以一个完整的终端 AI 聊天助手为例，带你从零搭建一个可运行的 LLM 应用。我们不造轮子，而是把正确的轮子装到正确的位置。

MCP Server 入门开发 + 协议调试 + 生产级部署第 02 篇的 demo server 能运行，但只有 echo 和 add 两个玩具工具。生产级 Server 需要解决 5 个额外的工程问题：

NVIDIA Jetson Thor 运行 LLM / VLM：模型全整理与 vLLM 实践🚀 核心问题： 120B 大模型能不能放到边缘端本地跑？VLM 能不能直接接入机器人、摄像头和现场设备？

手搓 LangChain 工具调用：原来 Agent 的核心逻辑，就是个 while 循环昨天想写个能自己读本地代码的 AI 助手，用的 DeepSeek + LangChain，结果卡了快一小时。我心想不就是把读文件的工具注册给模型吗，调完 invoke 它自己就该去读文件然后给我解释啊。结果每次调用完，模型都规规矩矩返回一段话，说 “好的我这就去读文件”，然后就没下文了，半字不提文件内容。当时我懵了，难道是我工具绑错了？还是 DeepSeek 不支持工具调用？

很多Desktop都在上的Computer Use是什么在理解 Computer Use 之前，需要先明确两个基础认知，建立参照坐标系：Computer Use（全称 Computer Use Agent，简称 CUA）是一类 AI 智能体：它通过视觉感知计算机图形界面（GUI，即日常使用的窗口、按钮、菜单等可视化界面），模拟人类的鼠标点击、键盘输入等操作，自主完成电脑上的数字任务。它既不需要依赖软件的专属 API 接口，也不需要预先编写固定规则的自动化脚本，交互逻辑和人类使用电脑的方式完全一致。

引擎四强：vLLM、SGLang、TensorRT-LLM 与 llama.cpp —— 推理引擎选型对决推理引擎是大模型落地的核心基础设施。本文从 vLLM、SGLang、TensorRT-LLM、llama.cpp 四大主流引擎的架构原理、核心优化、性能对比、选型决策四个切口，给出源码级实现与企业级推理服务决策框架。

调查研究-223 一个请求在 vLLM 里的一生：从 HTTP 到 token streaming备注：版本矩阵全部基于 vLLM 官方文档、Anatomy of vLLM 博客（2025-09-05）、vllm-project/vllm GitHub 主分支（commit 42172ad 之后）核查；未单独标注「⚠️」的条目均为多源印证后的稳定事实。

范式跃迁：从标注囚徒到自监督信徒 —— 大模型时代的机器学习重写大模型把机器学习从"标注驱动"推向"自监督+Scaling"范式。本文从自监督目标选择、过参数化边界、偏差方差分解、Few-shot 统计基础四个切口，给出 LLM 时代机器学习原理的工程化映射与企业落地决策框架。

Agent 工程化指南（一）：概念与认知架构 — 智能体到底是什么、怎么思考一句话定位：打破"套壳 ChatGPT"的刻板印象，建立生产级 Agent 的完整心智模型。读完能判断自己的系统算不算 Agent，并跑起来一个最小 Agent。

代码仓库理解：Graphify、CodeGraph、FastContext代码仓库理解项目系列博文：官网，零配置、支持全模态、可本地运行的开源（GitHub，80.7K Star，7.9K Fork）知识图谱工具，能自动构建可交互导航的知识图谱，具备反向链接与关系溯源功能，实现高达71.5倍的Token消耗节省，将此前流行的原始笔记法工作流推向成熟且自动化的新阶段。

AI 聊天长期记忆的向量化处理：从"关键词匹配"到"换种说法也能找到"本文基于 AI Mind 项目的真实实现整理。 GitHub：github.com/HWYD/ai-min… 对应代码版本：v0.4.6 线上链接：ai.hwyblog.cloud/instant-min…

LLM 应用的缓存工程：当每次 API 调用都在燃烧成本在生产环境中运营 LLM 应用，最直接的痛感往往来自账单。随着用户量和交互频次上升，API 调用成本与规模几乎呈线性关系。一个日均处理一万次对话的应用，每次请求携带数千 token 的系统指令和历史上下文，月支出可以轻松突破五位数。更令人困扰的是，大量请求在语义层面高度重复——用户反复问相似的问题、客服场景中同一类别的查询反复出现、定时任务每天带着几乎相同的上下文请求模型做同一类判断。把同样的工作交给模型重复做，然后为每一次推理付费，这显然不是最优解。

程序喵大人

【AI专栏】图解Transformer - 第05章：LLM 推理工程博主介绍：程序喵大人前四章把模型本身拆完了——token 怎么变向量、attention 怎么算、Block 怎么堆、生成循环怎么转。

GPU 算力降本指南：拆解大模型推理账单的 4 个隐藏加价坑上个月你订了一张机票，票价显示只要 283 元。结果最后选个不是中间的座位花了 131 元，托运行李花了 254 元，为了让行李有地方放、买个优先登机又花了 87 元，最后还被加收了一项谁也解释不清的‘航空公司燃油附加费’。原本 283 元的机票，愣是让你掏了 870 元。你以为票价全包了，结果全都被拆开来单独算钱。

生产化的鸿沟：流式、缓存、可观测、红蓝对抗、限流降级与评测 —— 工程化六渡大模型应用从 Demo 到生产需跨越工程化鸿沟。本文从流式输出 SSE、缓存策略、可观测性、红蓝对抗安全、限流降级、评测体系六个切口，给出源码级实现与企业级生产化决策框架。

吃饱了得干活

LangChain 模型调用方案：invoke、stream、batch 的同步与异步在基于大模型开发应用时，如何向 LLM 发送请求、接收回复直接决定程序性能与用户体验。LangChain 基于 init_chat_model 封装了三套核心同步调用接口 invoke、stream、batch，同时配套异步版本适配高并发服务场景。三者底层共用同一套消息结构，但在返回形式、阻塞逻辑、适用业务场景上差异显著。本文聚焦三大核心调用方法，同步对比异步调用，理清选型标准与实战用法。

qKnow 智能体构建平台开源版 v2.2.3 发布：Agent Bot 支持用户自定义工具编排在企业级智能体应用建设过程中，Agent 的定位正在从简单的问答入口，逐步扩展到业务流程协同、数据查询、系统调用、知识库联动和工具执行等场景。