llm

sgl-kernel 项目的演进：不同时间点的角色与去向sgl-kernel 经历了独立顶层包 → 并入 sglang.kernels.aot → 成为统一 kernel 命名空间中的一个后端的演进。它的源码位置、包名、与主 sglang 的耦合方式都发生了变化，但核心使命——为 SGLang 提供 AOT 编译的自定义 CUDA/HIP 算子——始终未变。

6篇RAG核心论文的工程启示：Vector + Graph + Agent路由混合架构实战前两天站内那篇《我把 22 篇 RAG 论文喂给了 RAG》拿了 4.4 万阅读——形式很聪明，但它解决的是「论文太多读不完」。本文解决另一个问题：读完了怎么落地。我们从六篇核心论文里各提炼一条工程启示，拼成一个可以直接抄的混合架构，附可复现代码。与前作是互补关系：那边做综述导航，这边做工程实现。

沛东的认知和实践

当 RAG 开始“要求找全”：一次 Agentic RAG 边界探索与 LLM Wiki 转向30 秒判断：如果你也遇到“检索结果看起来都相关，但关键子主题总是漏掉”，这篇文章的价值是两个：我们替你系统试过了提示词、查询展开、facet、审计、reranker 和章节路由，并标明各自为什么不够；同时用近期论文说明，这不是单靠把项目参数再调一调就能解决的问题。

《Attention Is All You Need》的 Encoder–Decoder Transformer 一次完整训练下面按 2017 年原始论文《Attention Is All You Need》的 Encoder–Decoder Transformer，整理一次完整训练过程。重点是：训练时使用 Teacher Forcing，并借助因果掩码并行计算所有目标位置，不像推理那样逐个生成 token。

自蒸馏也讲究因材施教：让每个 token 自己挑老师，数学推理白捡 5.9 分做 LLM 后训练的都知道 OPSD（在线自蒸馏）香：不用奖励模型、信号稠密。但它有个老毛病——老师看了完整参考答案后分布过尖，监督信号跟学生的学习节奏对不上。这篇论文的解法很直白：别让整条回答共用一位老师，搭个 7 人候选池，让每个 token 自己挑。Qwen3-1.7B 数学推理平均分直接从 51.1 涨到 57.0（+5.9），代码已开源。

同样的模型，为什么本地和云 API 差别那么大：量化精度、聊天模板与采样参数的三大元凶核心结论：同一个模型，本地跑和云 API 调用效果天差地别，多半不是模型不行，而是三件最容易被忽略的事没对齐——本地为了省显存做了量化（int4 精度损失是头号元凶）、聊天模板用错导致模型把对话当成一坨文本、采样参数不同让输出气质完全不同。把这三层对齐，差别立刻缩小大半。

ReAct 循环跑偏的三种样子，以及怎么在工程上兜住几乎所有 Agent 框架的骨架都是同一个循环。模型想一下，决定调哪个工具，拿到结果再想一下，直到它认为可以回答。这个循环看起来极简单，写一个最小实现不超过一百行。

Agent 如何进行工具调用：从一次 Function Calling 到生产级工具编排的完整链路核心结论：Agent 调用工具不是「模型自己用代码调函数」，而是一次请求—决策—执行—回传—再生成的多轮闭环。模型只负责「决定用哪个工具、填什么参数」，真正的执行在应用程序侧完成。理解这条链路，是做好 Agent 工程的第一课。

王博要战斗

TensorBoard 和 W&B(Wandb) 到底该怎么接进 LLMOps 平台？——从“看曲线”到“管实验”，再到平台该做哪一层适合读者：正在或准备给训练平台接入实验追踪能力的人，尤其是分不清“平台该做什么、工具该做什么”的工程师。

用户835141404949

本地跑小模型做语音唤醒：手上那块子能带动吗先说结论：能带动，但别指望它像手机喊"小爱同学"那样灵敏。我手上这块是 imx6ull 的开发板，512MB 内存，跑 Linux，之前一直拿来做点串口收发的小活。前阵子突发奇想，能不能让它听懂一句"你好板子"，然后点亮一个 LED。折腾了差不多两个周末，中间翻车好几次，今天把过程完整写下来，包括我踩的坑。

RAG 学到最后，我真正学会的不是“检索”，而是让系统知道自己缺什么从一条 LangGraph 问答链路，复盘本地 RAG、充分性评估与联网兜底刚开始学习 RAG 时，我理解的流程很简单：

Bug 定位实战：把报错丢给 Codex，它是怎么修的上一篇用 read-only 模式读懂了陌生代码库。这篇往前走一步——从"看懂"到"动手改"，场景是每个开发者的日常：修 Bug。

中小企业跑125B 大模型：显存装不下的时候，Strata 做了什么作者：吴佳浩撰稿时间：2026-10-24 测试环境：面向工程师与研究者的体系化分析。之前我们在个人pc上做了尝试今天待大家从企业视角来来看看这条线是不是行得通。阿拉不止讨论「跑起来了没有」，更追问「这件事对本地部署意味着什么、代价又落在哪一层」。 125B 级 MoE 模型过去只活在几百 GB 显存的服务器上。Strata 把「模型装不下」这件事，从一道算术死题，换成了一个带宽工程题。本文是这个系列的第一篇，只讲一件事：当显存放不下模型时，Strata 到底把什么东西放在了哪里，又是怎么把「显存

学IT的周星星

LangGraph：用「流程图」的方式编排 Agent📚 系列：《Agent 从入门到上手》· 30 天连载 · 第 17 篇（框架篇第 3 篇） 🎯 本篇目标：把 State / Node / Edge / Conditional Edge 四个词讲到你能在白板前给别人画出来；亲手画一张「会回头」的图；用实测数字看清「图 vs 裸 Agent」的成本账；最后给图装上人工审核闸口、玩一把时间旅行 ⏱️ 阅读时长：约 30 分钟 🧪 特别说明：本篇所有运行结果都在 langgraph 1.2.18 上真机跑过，依旧零 API Key、零网络（沿用上一篇那

Codex 周活涨 6 倍背后：AI Agent 的四条战线「一篇读懂」系列 Vol.004：一个话题，一篇文章，讲透讲清。先看一组数字。OpenAI 披露：今年 2 月以来，Codex 的周活跃用户涨了 6 倍，突破 500 万。增长结构更有意思——知识工作者的增速，是开发者的 3 倍。

全文 - Improving Language Understanding by Generative Pre-Training原文自然语言理解涵盖多种多样的任务，例如文本蕴含、问答、语义相似度评估以及文档分类。尽管大规模无标注文本语料库非常丰富，但用于学习这些特定任务的有标注数据却很稀缺，这使得经过判别式训练的模型难以取得令人满意的表现。我们证明，通过在多样化的无标注文本语料库上对语言模型进行生成式预训练，再针对每个具体任务进行判别式微调，可以在这些任务上取得显著提升。与以往的方法不同，我们在微调过程中使用了任务感知的输入变换，从而在只需对模型架构进行最小改动的情况下实现有效的迁移。我们在一系列自然语言理解基准测试上验证了该方法

【Plain Language Large Model】【从麦当劳点餐到Redis接入：MCP如何让AI工具集成变简单】流食般投喂课程主题：MCP（Model Context Protocol）技术解析与实战入门核心观点：MCP 不是又一个封闭的收费接口，而是 AI 应用与外部工具之间的“万能 Type-C 口”。它把传统模式下 M×N 的定制化开发，压缩成了 M+N 的标准接入。

大侠在此在在此

我花了不到1块钱，用python把自己一年的1500次会话做成了个人知识库作为一个 AI 深度使用者，这一年下来，我在各大 AI 平台（尤其是 DeepSeek）积累了 1500 多次对话。

从线性 RAG 到 Agentic RAG：用 LangGraph 搭一个会判断、会纠错、会兜底的检索闭环面向中级开发者｜读完就能照着改｜代码全部来自真实跑通的《天龙八部》问答项目先说结论：RAG 的瓶颈从来不在向量库，而在"判断"二字。

【大模型应用开发:基于GPT-4和ChatGPT】(使用LangChain框架和插件增强LLM的功能)本文探讨LangChain框架,以及GPT-4 插件为代表的外部能力扩展方式.我们将研究 LangChain 如何连接不同语言模型,如何把提示词、工具、记忆和外部知识组合起来,再理解插件把模型接入实际服务的工作原理.这些知识可以帮助我们开发比单轮问答更复杂的LLM应用.前面主要围绕模型API构建程序.本文进一步把模型放入一个完整的应用流程:数据从哪里来,哪些操作交给工具执行,历史对话如何保存,最终答案如何追溯到依据.示例围绕这些问题展开;这里仍沿着同一条学习路径,使用当前接口完成相应任务.