llm

🔥 vLLM / SGLang / TGI / TensorRT-LLM / Triton 真实分工：分层定位 + 5 步决策路径LLM Serving 方案选择不能只问"哪个最快"。这个问题本身就容易误导。不同框架解决的问题并不一样。vLLM 更像开放模型在线服务的通用默认选项;SGLang 更强调复杂生成程序、Agent、多分支和共享 prefix 复用;TGI 贴近 Hugging Face 生态与既有生产接口;TensorRT-LLM 是 NVIDIA GPU 上的深度性能工程路线;Triton Inference Server 则是通用推理服务平台,不只服务 LLM。

🔥 多 GPU 推理决策顺序全解：单卡 → DP → TP → PP → EP 怎么选（vLLM/TensorRT-LLM/SGLang）多 GPU 推理最容易被讲复杂。参数很多,名词很多,框架也很多:Tensor Parallel、Pipeline Parallel、Data Parallel、Expert Parallel、KV Cache、continuous batching、prefix caching、chunked prefill、disaggregated serving。每个词都像一个可选项,但真正做系统设计时,第一步其实很朴素。

架构的下一程：堆参数退潮，提效率登场 —— GQA、MTP、原生多模态与稀疏融合大模型架构设计正从"堆参数"转向"提效率"。本文从 GQA 的 KV Cache 权衡、MTP 多 Token 预测的训练增强、Native Multimodal 原生多模态、稀疏与线性架构融合四个切口，给出源码级实现与企业级架构演进决策框架。

带刺的坐椅

用 Solon AI ReActAgent 落地智能客服工单处理某电商平台售后工单日均 5,000+，人工处理有三个老大难：核心矛盾：工单量增速明显快于客服团队扩编速度。

聊一下复杂 Agent 架构的性能优化设计与传统的 Web 服务不同，AI Agent 系统的请求处理链路具有几个独特的特征，使得性能优化变得格外复杂，我们在开发业务整合Agent时，遇到了这些问题：

LLM Wiki：大语言模型世界的“百科全书”你有没有这样的经历：翻开一篇 AI 文章，“Token”“RAG”“Fine-tuning”“Temperature”……一连串陌生词汇砸过来，每个字都认识，但合在一起完全不知所云。AI 领域实在太新太热，每天都有新模型、新术语冒出来，就像忽然走进一个语言不通的异国城市，急需一张地图。

GPT-Live 全双工语音 Agent 深度拆解：连续交互 + 后台委托 + Voice Runtime 三层架构注：标 ✅ 的项目均经过 2 个以上独立信源印证（含 OpenAI 官方公告原文 + 中文媒体转载）；标 ⚠️ 的项目在本文写作时未能从官方公告或多家独立来源同时获得确认，标注为"待核"以避免引入未经验证的事实。

梯度的呼吸：激活、归一化、反传与残流 —— 深度网络的四道命门大模型的深度学习基础，核心在于激活函数、归一化、梯度流、反向传播四个工程要点的精确驾驭。本文从 SwiGLU 设计权衡、Pre-Norm 与 Post-Norm 的梯度稳定性、梯度检查点的显存换算、残差连接的初始化缩放四个切口，给出源码级实现与企业级踩坑复盘。

第一章：从零构建终端 AI 助手 —— Octo 项目实战LLM 智能体开发系列 · 第一章本章以一个完整的终端 AI 聊天助手为例，带你从零搭建一个可运行的 LLM 应用。我们不造轮子，而是把正确的轮子装到正确的位置。

MCP Server 入门开发 + 协议调试 + 生产级部署第 02 篇的 demo server 能运行，但只有 echo 和 add 两个玩具工具。生产级 Server 需要解决 5 个额外的工程问题：

NVIDIA Jetson Thor 运行 LLM / VLM：模型全整理与 vLLM 实践🚀 核心问题： 120B 大模型能不能放到边缘端本地跑？VLM 能不能直接接入机器人、摄像头和现场设备？

手搓 LangChain 工具调用：原来 Agent 的核心逻辑，就是个 while 循环昨天想写个能自己读本地代码的 AI 助手，用的 DeepSeek + LangChain，结果卡了快一小时。我心想不就是把读文件的工具注册给模型吗，调完 invoke 它自己就该去读文件然后给我解释啊。结果每次调用完，模型都规规矩矩返回一段话，说 “好的我这就去读文件”，然后就没下文了，半字不提文件内容。当时我懵了，难道是我工具绑错了？还是 DeepSeek 不支持工具调用？

很多Desktop都在上的Computer Use是什么在理解 Computer Use 之前，需要先明确两个基础认知，建立参照坐标系：Computer Use（全称 Computer Use Agent，简称 CUA）是一类 AI 智能体：它通过视觉感知计算机图形界面（GUI，即日常使用的窗口、按钮、菜单等可视化界面），模拟人类的鼠标点击、键盘输入等操作，自主完成电脑上的数字任务。它既不需要依赖软件的专属 API 接口，也不需要预先编写固定规则的自动化脚本，交互逻辑和人类使用电脑的方式完全一致。

引擎四强：vLLM、SGLang、TensorRT-LLM 与 llama.cpp —— 推理引擎选型对决推理引擎是大模型落地的核心基础设施。本文从 vLLM、SGLang、TensorRT-LLM、llama.cpp 四大主流引擎的架构原理、核心优化、性能对比、选型决策四个切口，给出源码级实现与企业级推理服务决策框架。

调查研究-223 一个请求在 vLLM 里的一生：从 HTTP 到 token streaming备注：版本矩阵全部基于 vLLM 官方文档、Anatomy of vLLM 博客（2025-09-05）、vllm-project/vllm GitHub 主分支（commit 42172ad 之后）核查；未单独标注「⚠️」的条目均为多源印证后的稳定事实。

范式跃迁：从标注囚徒到自监督信徒 —— 大模型时代的机器学习重写大模型把机器学习从"标注驱动"推向"自监督+Scaling"范式。本文从自监督目标选择、过参数化边界、偏差方差分解、Few-shot 统计基础四个切口，给出 LLM 时代机器学习原理的工程化映射与企业落地决策框架。

Agent 工程化指南（一）：概念与认知架构 — 智能体到底是什么、怎么思考一句话定位：打破"套壳 ChatGPT"的刻板印象，建立生产级 Agent 的完整心智模型。读完能判断自己的系统算不算 Agent，并跑起来一个最小 Agent。

代码仓库理解：Graphify、CodeGraph、FastContext代码仓库理解项目系列博文：官网，零配置、支持全模态、可本地运行的开源（GitHub，80.7K Star，7.9K Fork）知识图谱工具，能自动构建可交互导航的知识图谱，具备反向链接与关系溯源功能，实现高达71.5倍的Token消耗节省，将此前流行的原始笔记法工作流推向成熟且自动化的新阶段。

AI 聊天长期记忆的向量化处理：从"关键词匹配"到"换种说法也能找到"本文基于 AI Mind 项目的真实实现整理。 GitHub：github.com/HWYD/ai-min… 对应代码版本：v0.4.6 线上链接：ai.hwyblog.cloud/instant-min…