llm

我对DeepSeek4.1flash能力变化的感觉和第三方评估相当比如，之前感觉早期 deepseek v4.1 flash比 glm5.3flash厉害，但可能还不如glm5.3和step 5 preview；但10月17日更新之后已经反超step 5 preview

MoE 与推测解码（Speculative Decoding）加速：为什么慢、什么时候慢、怎么让它不慢？学术交流群：922230617目录0. 引言0.1 基础0.1.1 算法机制0.1.2 工程实现0.1.3 模型架构

LLM ChatServer 实战 - 会话管理、SSE 流式与错误语义的接口设计（附清单）客服机器人从命令行 demo 变成给三个人用的内部工具，中间隔着一层 HTTP 服务。模型本身早就调通了，这两天把服务层重构了一遍，精力主要消耗在把会话管理、流式输出和错误语义这些杂事做对。这篇文章把接口设计里的关键决策和踩过的坑整理出来。

AI Agent 评测：到底要测什么、新手怎么测？（附完整流程）现在做一个 Agent 有多容易？Claude Code、Codex、WorkBuddy 这些产品，很多人要么用过，要么天天在用。加上 AI 辅助编程，我们甚至可以让 Codex 帮忙做出一个类似 Codex 的东西。开发门槛降得飞快，一个能跑的 Agent，很快就能拼出来。

不训扩散模型也能生成文本？BERT 本来就是半个去噪生成器，加个外置解码器就够TL;DR：扩散语言模型（dLLM）的「扩散机器」到底有多少是必需的？这篇 arXiv 2610.26601 把它全删了——不要时间步、不要噪声调度、不要反向过程，只留「反复跑 BERT 预测掩码位 + 按置信度逐步提交」的傻瓜解码器。结果：冻结 BERT 本来就能迭代还原 61% 的 15% 掩码文本；普通 MLM 微调后，QQP 释义生成 ROUGE-L 0.583，跟显式扩散训练的 DiffusionBERT 已发表值 0.585 同档。注意边界：结论只在条件生成 + BERT 级小模型上成立。

单集群一天吐 155 万亿 token 的引擎开源了：DeepSeek 放出生产级推理框架 DeepInferTL;DR：10 月 20 日，DeepSeek 把支撑自家线上服务的推理引擎 DeepInfer 以 Apache 2.0 开上 GitHub：vLLM 深度魔改、只服务 DeepSeek 模型族，首发支持 V4.1-Flash，英伟达 SM100 与华为昇腾 950 双栈同步适配；官方口径单集群日吞吐 155 万亿 token——注意这是自报数字，尚无第三方复现。KV cache 与分离式部署不在本次范围内，直接替换现有部署前先看清单。

证不动的引理别再死拆了：Maestro 给 Lean 证明装上「总指挥」，研究级定理多证 63%TL;DR：Lean 证明 agent 卡住时，现有系统的反应永远是「再拆细一点」。Maestro（UIUC 与 AWS AI Labs 等，arXiv 2610.25920）把失败处理升维成全局调度：证明器交出「为什么失败」的诊断，一位看得见整张证明蓝图的协调者决定是重试、补引理、改伪命题还是整个撤掉换路线——研究级定理集上平均多证 63%，PutnamBench 669/672、IMO 2026 六题全对，且全程开源、探索过程可审计。

虎鲸不是鱼

【虎鲸进化论 30】安全护栏：人类闸门、审计与爆炸半径本文是「虎鲸进化论」系列第 31 篇（正文第 30 篇）。上一篇：事故复盘；下一篇预告：抽象的代价 —— 当没有人再读它的代码。

ai-agent教程-18-附录E-推荐阅读与资源一份「能读很多年」的书,应该把读者领到更深的地方去。本附录按主题给出经过时间检验的资源:基础论文(原理不会过时)、工程指南(方法论)、框架官方文档(随时变,以官网为准)、基准、基础设施。用一句话标注「为什么值得读」。

DeepSeek 开源推理框架 DeepInfer：KVCache 存三天、投机解码少验 30% 是怎么做到的10 月 20 日，DeepSeek 把线上跑 V4.1 Flash 的推理框架 DeepInfer 开源了，同时放出 Token 编解码组件 deepseek-recipe 和一份推理部署 Q&A。媒体标题多是「大模型普惠」，我更关心的是那份 Q&A：官方称单个集群每天服务 155 万亿 token，并把 Prefill / Decode 怎么分、KVCache 怎么存三天、投机解码怎么省验证算力都写了出来。这是继 2025 年 2 月开源周之后，DeepSeek 又一次把自己的推理系统讲得这么细。

用户978858701950

本地 Agent 十次里有两次工具调用失败，原因是它吐出的 JSON 少了个括号——格式校验与有限重试我这样加“它昨天帮我查了三次库存都好好的，今天第一次就报错，说参数解析失败，我啥也没改啊。”说这话的是我们办公室的采购老陈。我给他配了一个本地跑的小 Agent，能调两个工具：一个查内部库存表，一个按条件筛选供应商记录。用了一周，他说偶尔会“抽风”，报个错就停了，再问一遍又好了。

工具调用 5｜执行一次还不够：怎样形成“判断—行动—观察”的循环？假设你问个人资料助手：帮我查一下保存的读书会通知，报名截止日期是哪天？如果有调整，以调整后的通知为准。

3 款免费模型颁奖词实测：0.90 分冠军赢在哪颁奖词这种文体，最能暴露一个模型「听话不听话」——材料里埋了假信息、禁用词和一条不许点破的暗线，谁读懂了规则，谁在自由发挥，一次就现形。这次模型实测选了三款免费档位的模型同题比稿：GLM-5.3-Flash、Kimi-K2.6、Qwen3.5-Flash，由非参赛的 gpt-5.6-sol 担任裁判，七个维度逐一打分。结果是 GLM-5.3-Flash 以 0.90 的均分拿下第一，Kimi-K2.6 以 0.89 紧咬在后，Qwen3.5-Flash 的 0.80 看似只差 0.1，翻车的原因却完全不在

10款模型写公交App实测：slogan为什么两极分化一次「模型实测」里最反常的现象是：总分最后一名的 Kimi-K2.6，合规维度拿了全场第二高的 0.98，事实性 0.98，却因为格式 0.00、选材 0.00、说服力 0.00 直接坠底。它不是写错了，而是根本没交卷——正文只留下一行「主推 slogan」标题，内容为空。这次 slogan为什么两极分化，分化点不在文笔，在交付。下面把完整的打分数据和翻车原文摊开来看。

后端第十二课：Agent 开发（让大模型从“会答“升级到“会做“）👋 我是 Yulia，一线 AI 应用开发工程师：4 年工程经验，在职做大模型应用落地。只写一件事——把最新 AI 技术讲成人话 + 给你能直接上手用的代码（真实可验证，不搬运不注水）。有用就点个关注，持续更新大模型应用的前沿实战。

我给网关加了计量埋点，才发现限流配错三个月，下游账单多烧了两倍前面四篇我们分别讲了语义缓存、向量检索、上下文压缩、流式网关与限流。这一篇讲计量埋点与可观测性，下一篇讲重试与熔断。四篇连起来是一条线：网关把流量接住（限流），用计量看清流量到底长什么样（埋点），再用重试熔断兜住失控的流量。

模型 Temperature 和 Top-p 到底有什么区别？一篇讲透原理与调参大模型 Temperature 和 Top-p 是 API 里最常见、也最容易设错的两个采样参数。网上多数文章停在 "数值越大越随机" 这一层，但这句话既解释不了它们为什么是两个参数，也指导不了你该填 0.3 还是 0.7。

Kimi Work 科研加速器：文献综述和论文润色的完整方法Kimi Work 垂直场景第三篇，轮到科研人群。研究生和科研人员的时间黑洞有两个：文献综述（读不完的论文、理不清的脉络）和论文润色（改不完的措辞、过不了的语病）。一篇综述动辄要消化五六十篇文献，初稿润色来回改七八轮——这两件事能占掉科研时间的大半。