llm

沛东的认知和实践

模型会自己伪造工具结果：一次 Agent 评测暴露的 Harness 工程问题——从一句 `count=0`，看模型输出、工具执行和上下文权威的边界30 秒判断：Agent 说“我调用了工具”，不等于工具真的执行过；模型在文本里写下一条 Observation，也不等于系统得到了真实工具结果。只要 Harness 把这段文本原样放回下一轮上下文，模型虚构的“事实”就可能变成后续推理的依据。提示词能要求模型遵守协议，但只有 Harness 能保证协议真的被执行。

MCP与Function Calling怎么选：大模型工具调用三种方式的面试级对比三种工具调用方式根本不在一个层级：Function Calling（函数调用）是模型输出结构化参数的能力，内置工具是平台送的现成货，MCP（Model Context Protocol，模型上下文协议）是把外部程序接进来的通信协议。选错的典型代价是延迟变高、上下文被撑爆，而不是「谁更先进」。

资料检索 1｜直接放入全文、按需读文件和先检索，有什么区别？假设你给个人资料助手两份读书会通知，问报名截止日期。把两份正文一起交给模型，就能让它依据这些材料回答。

Agent Harness 从用到会造：prompt 不是问句，是控制面板这是《Agent Harness 从用到会造》第 1 讲。大多数人第一次写 system prompt 的时候，脑子里想的是「我该怎么把需求说清楚」。于是他们写出一段礼貌、完整、像产品需求文档一样的文字，然后盯着模型的输出，觉得哪里不对，又说不上来哪里不对。

提示缓存（Prompt Caching）是如何工作的？提示缓存（Prompt Caching）是一种技术：模型把 prompt 中重复出现的那部分已经算过的工作保存下来，下次直接复用这份保存的结果，而不必从头再算一遍。

愤怒的代码

读懂大模型的"记忆"：KV Cache 到底是什么？大模型每生成一个 token，都要从头开始计算吗？为什么加了一块小小的缓存，生成速度就能快几十倍？这篇文章用最通俗的方式，把 KV Cache 一次讲透。

上下文工程的第一公里：LangChain 讲透 Agent 检索的三大坑与六套解法开卷考试里最难的，从来不是没有答案，而是答案太多、你不知道该翻哪一页。LangChain 在 2026 年 10 月 24 日的官方博客里，把这件事讲得很直白：Agent 的上下文工程，第一步不是"怎么写 prompt"，而是"怎么把正确的信息拿进来"。检索做不好，后面的压缩、摘要、记忆管理全是在给垃圾信息做精装修。

GEPA 优化出来的提示词为什么又臭又长？ESPO：先诊断，再动手，投票定生死💡 一句话总结：进化式提示词优化器普遍患「通胀病」——每轮加规则、越优化越长。ESPO 用「一轮诊断全部错误 → 四策略出候选 → bootstrap 投票定生死」三步治好它：平均超过 GEPA 3.76 个点，提示词还短了 47%。搞 prompt 工程的人可以直接抄作业。

2026.10 在受限的嵌入式机器人设备中使用LLM Agent国庆前调试机器人设备，再次感觉非常痛苦：不能联网、性能弱不能部署本地AI大模型，debug 效率极低。

KV 缓存全场景剖析KV（Key-Value）缓存不是一个"优化技巧"，而是贯穿大模型推理、推理服务、Agent 构建的一条结构性约束。下面按场景拆开讲。

Kimi K3.1 疑似现身 LMArena：匿名代号 Kibitz、SGLang 单日六条加固 PR，月底有望官宣2026-10-22 凌晨，LMArena 上多出两个匿名模型：Kibitz 和 Kalmia。名字不带任何厂商前缀，对战记录很快被截图传开。圈子里普遍的判断是，Kibitz 是月之暗面给 Kimi 新模型起的匿名代号，K3.1 在预热。

用户831455098031

注意力稀释，上下文变长时模型在公式里丢了什么模型已经把上下文窗口卷到百万 token，用起来却是另一回事：喂得越长，答得越不靠谱。这个现象有几个流行的名字：上下文腐烂（context rot）、注意力稀释、信噪比下降。

LiteLLM 1.107.0 投毒排查实战：依赖、Docker、CI 环境分别怎么查？10 月 21 日，LiteLLM 发布流程遭到攻击，恶意版本 1.107.0 被发布到 PyPI，部分容器镜像也受到影响。

DeepInfer 能否跑赢 vLLM？GPUStack 八卡 B200 实测结果来了高效推理技术的价值，需要通过实际部署才能进入业务。DeepSeek 开源 DeepInfer，为开发者提供了探索其推理技术的入口。对于希望在自有基础设施上运行模型的团队，接下来还需要解决一系列工程问题：如何提供 API、如何配置运行环境、如何管理 GPU，以及如何评估它在实际工作负载中的表现。

先吃饱再说

大模型总是不按格式输出？LLM 结构化输出的四种解法摘要：LLM 默认吐自由文本，但程序需要的是能 JSON.parse 的对象。本文从 Prompt 约束到 Tool Calling，拆解四代结构化输出方案的原理、可靠性差异与流式表现，帮你选对方案、避开格式陷阱。

第6篇掀翻共识：注意力叠权才是一切，异源对撞破同源自噬｜【狂潮元理论 2.1‑public】做AI优化方向的看过来；想看懂什么是AI的看过来；想学AI的看过来；如果这篇看完你还不知道AI的本质是什么，强烈建议你换个方向，哈哈哈哈~~~

吴凡wudianmei

线上出问题不知道卡在哪？全链路追踪 + 三端统一部署一个 AI 产品上线后最怕的不是"出 bug"，而是"出 bug 了但不知道出在哪"。尤其是多智能体流水线，一次生成要经过 analyzer → tool → synthesizer → reviewer → writer 五步，任何一步卡住，用户只看到一个转圈。

【Plain Language Large Model】【大语言模型底层原理全解析：从Token生成到智能体演进】流食般投喂当我们熟练地调用 ChatGPT、DeepSeek 或千问的 API 时，可曾想过模型背后并非“思考”，而是在进行一场精密且疯狂的数学运算？这一系列课堂笔记，将带大家穿透黑盒，看清 LLM 从“说第一个字”到“进化为机器人”的完整旅程。

让 LLM 输出不再失控：用 Pydantic 校验大模型输出你在 prompt 里写了 "请返回 JSON"，模型返回的大概率不是一段干净的 JSON，而是一段话：开头一句"好的，这是抽取结果"，中间一个 ```json 围栏，结尾还跟一句"希望对你有帮助"。

嘴替鸭小程序是怎么看懂一句话的：本地规则 + 大模型的混合引擎拆解参赛赛道：全链路开发实战#TRAE双端融合 #全新 TRAE 实战体验 #TRAE 全链路实战程序代码我已经放在了github上，你可以自己跑跑看：github.com/beverlyLee/…