llm

DeepInfer 能否跑赢 vLLM？GPUStack 八卡 B200 实测结果来了高效推理技术的价值，需要通过实际部署才能进入业务。DeepSeek 开源 DeepInfer，为开发者提供了探索其推理技术的入口。对于希望在自有基础设施上运行模型的团队，接下来还需要解决一系列工程问题：如何提供 API、如何配置运行环境、如何管理 GPU，以及如何评估它在实际工作负载中的表现。

先吃饱再说

大模型总是不按格式输出？LLM 结构化输出的四种解法摘要：LLM 默认吐自由文本，但程序需要的是能 JSON.parse 的对象。本文从 Prompt 约束到 Tool Calling，拆解四代结构化输出方案的原理、可靠性差异与流式表现，帮你选对方案、避开格式陷阱。

第6篇掀翻共识：注意力叠权才是一切，异源对撞破同源自噬｜【狂潮元理论 2.1‑public】做AI优化方向的看过来；想看懂什么是AI的看过来；想学AI的看过来；如果这篇看完你还不知道AI的本质是什么，强烈建议你换个方向，哈哈哈哈~~~

吴凡wudianmei

线上出问题不知道卡在哪？全链路追踪 + 三端统一部署一个 AI 产品上线后最怕的不是"出 bug"，而是"出 bug 了但不知道出在哪"。尤其是多智能体流水线，一次生成要经过 analyzer → tool → synthesizer → reviewer → writer 五步，任何一步卡住，用户只看到一个转圈。

【Plain Language Large Model】【大语言模型底层原理全解析：从Token生成到智能体演进】流食般投喂当我们熟练地调用 ChatGPT、DeepSeek 或千问的 API 时，可曾想过模型背后并非“思考”，而是在进行一场精密且疯狂的数学运算？这一系列课堂笔记，将带大家穿透黑盒，看清 LLM 从“说第一个字”到“进化为机器人”的完整旅程。

让 LLM 输出不再失控：用 Pydantic 校验大模型输出你在 prompt 里写了 "请返回 JSON"，模型返回的大概率不是一段干净的 JSON，而是一段话：开头一句"好的，这是抽取结果"，中间一个 ```json 围栏，结尾还跟一句"希望对你有帮助"。

嘴替鸭小程序是怎么看懂一句话的：本地规则 + 大模型的混合引擎拆解参赛赛道：全链路开发实战#TRAE双端融合 #全新 TRAE 实战体验 #TRAE 全链路实战程序代码我已经放在了github上，你可以自己跑跑看：github.com/beverlyLee/…

你的WorkBuddy不好用，大概率是这些设置没设好大家好，我是晓凡。很多小伙伴装好 WorkBuddy 的第一反应，就是赶紧丢个任务进去，看它干活利不利索。

LLM | 大模型训练 / 部署语境下的常用显卡这篇博客面向大模型训练和推理（部署）场景，介绍一下常用的显卡：比如 B 卡、H 卡这些简称是什么意思，算力数字是什么意思、怎么读，各代显卡之间是什么关系。

饭桌上又卡壳了？我用 TRAE 写了个嘴替鸭，把回话提前备好十一回家过节，饭桌上，二姨又开始了：“怎么还不找对象啊，你看人家孩子都会打酱油了”。我嘴里嘟囔着：快了快了，脑子疯狂搜索应该怎么回答才能在尊重他的前提下让他体面闭嘴。事后复盘，心里冒出来十句回话，可当场一句都组织不出来。我这种i人从不爱参加各种饭局，不管是从领导敬酒、还是和亲戚长辈聊天，都想尴尬的扣出两室一厅，有时候说了什么不该说的，有时候又没有说该说的，显得没有礼貌。几十双眼睛看着，越想体面越卡壳，回家躺在床上，刷了刷高情商的回复，心里想要是这么回他就好了，越想越后悔。

神也畏惧菠萝

Coze 工作流数据库 Day06：架构与高级循环控制的深度技术分析在构建企业级 AI 应用时，仅仅依靠大模型处理非结构化文本是远远不够的。真实的业务闭环不仅需要理解自然语言，更需要持久化存储（增删改查）、精准的数据提取，以及应对复杂批量任务的流程控制。本文将深入剖析 Coze 工作流中的两大硬核技术栈：结构化数据库操作与高级循环结构。从底层逻辑出发，厘清“知识库”与“数据库”的边界，拆解“LLM提取参数 + 数据库执行”的工程化范式；并深度解析数组循环、无限循环与中间变量在复杂业务流中的设计模式。最后，复盘在实际搭建中极易遇到的技术难点与避坑指南，帮助开发者完成从“文本

给 AI 客服加权限边界：12 项自查清单与一次越权测试把一个 LLM 客服接到业务系统上，它就不再是"聊天框"，而是一个持有凭据的服务账号。它能不能被管住，取决于三件事：输入侧有没有拦截、工具调用有没有白名单、全链路有没有留痕。

虎鲸不是鱼

【虎鲸进化论 41】AI 的盲区清单：责任、利害、定义、关系、最后一公里与主体性本文是「虎鲸进化论」系列第 42 篇（正文第 41 篇）。上一篇：AI 的天花板；下一篇预告：护城河与杠杆 —— 执行位 → 定义位 → 资产位。

多 Agent 系统如何复用 KV 缓存-前缀对齐比缓存开关更重要最容易误解的一点：prefix caching（前缀缓存）只优化 prefill（预填充），不影响 decode（解码）。

搜索 Agent 的两条路——训练一个，还是工程搭一个这篇博客把“搜索 Agent”拆成两个完整部分来讲：第一部分是训练视角，讲 Search-R1 怎样用强化学习让模型自己学会搜索；第二部分是工程视角，讲不训练模型、直接用 API 搭一个能跑的搜索 Agent。

国产算力·昇腾 910C 大模型推理优化（上）：镜像更新与参数调优，提速 40%｜得物技术本文系统性地总结了我们以华为昇腾 910C 为国产算力底座，在大模型在线推理场景下完成国产化适配与性能优化工作。项目从建立 Qwen3.5-35B-A3B 在 910C 上的性能基线出发，通过 MindStudio 进行性能剖析定位瓶颈，按照「镜像与版本升级 → 参数与环境变量调优 → vllm-ascend 源码修改 → 算子层融合优化 → MTP 投机解码」五个层次逐层推进，累计落地 20 余项有效优化。

一次 92 分一次 8 分，都是同一个系统：EVICALC 用 1730 道题教你做人💡 一句话总结：这是一篇不刷榜、专发「惨案」的系统报告：同一个文档问答系统，公开验证跑出 92.17% 的答案准确率，官方终测只有 8.61% 的联合准确率——两个数字都不是造假，也不能互相解释。作者老实交代了失败分析：OCR 分块把关键段落并进了无关块，系统对着盆栽花的故事解了一道病毒传播的题。比结论更值钱的是那句话：证据没进来，算术再漂亮也是白算。

VLM 抽得出版面元素，却排不对标题层级？分层多模态记忆让上百页长文档「纲举目张」做过文档解析的人多半有过这种体验：VLM（视觉语言模型，能同时看图读字的模型）把一份三百页研报的标题、表格、公式抽得干干净净，每个标题前还贴心地标好了 # 的数量——然后你把整份 Markdown 拼起来一看，二级标题挂在一级标题上面，第三章的小节跑去做附录的孩子了。单页看页页正确，合起来全盘错乱。

百万 token 塞进一张卡：论文测出你的 GPU 其实闲得慌想在本地一张 GPU 上跑长上下文模型，大家的默认答案是"量化压缩硬塞"。弗赖堡大学和 Computing Flows 的两位作者把 GPT 家族和 Qwen3 放到三代 NVIDIA 显卡上做了逐内核剖析，结论反转：单用户长上下文推理时 GPU 根本没被跑满——注意力内核占掉 90% 运行时间，带宽却只用到 21%；最新最贵的 Blackwell 在这件事上表现几乎和上一代持平。瓶颈在内核与编译器，不在硬件容量。做推理优化、内核工程或本地部署的工程师，这篇值得精读。

潜伏 20 年没人能利用的 PHP 漏洞，AI 一周做成了武器10 月 21 日，PHP 发布计划外紧急安全更新，修掉核心引擎里两个潜伏超过十年的内存安全漏洞（CVE-2026-109618 / CVE-2026-109619，CVSS v4.0 评分最高 9.2，安全圈统称 PHP2Shell）。它们能让你服务器的 PHP 进程被不需要登录的攻击者直接执行任意代码，或者偷走内存里的密码、token 和 API key。PHP 驱动着全球约 70% 的网站，WordPress、Drupal、Joomla 全部中招。最有意思的是：这漏洞在代码里躺了十几年没人能稳定利用