llm

vLLM是什么：PagedAttention 让大模型推理快 2-4 倍，还能撑起更长思维链vLLM 不会让模型更聪明。它不开源新模型、不改权重、不做微调，单次问答的答案质量和原模型一模一样你把它理解成「模型的操作系统」更准确：一个开源的 LLM 推理服务引擎（inference serving engine），由 UC Berkeley Sky Computing Lab 发起，用 PagedAttention（分页注意力）把 KV Cache 按 block 管理，把旧系统 60%–80% 的显存浪费压到 4% 以下，同延迟下吞吐提升 2–4 倍。

WorkBuddy 接入自定义模型教程：配置 GPT、Claude 等大模型你已经在 WorkBuddy 中搭好了 AI 工作流，却发现想用的模型不在当前模型列表里？或者，你已经拿到了 GPT、Claude 等模型的 API Key，尝试在 WorkBuddy 中添加自定义模型，却卡在接口地址、模型 ID 等配置环节，折腾半天还是报错？

大模型批量生成中的左填充 (left padding)与右填充 (right padding)：从生成正确性到 GRPO 的混合策略这一节首先明确 padding 要解决什么问题、通常怎么做。目标。仅解码器模型和编码器模型都按 batch 计算张量，而一个 batch 内各条序列长度往往不同。padding 的目标是把它们补齐到同一长度，使 batch 可以表示为一个规则张量。设第 iii 条序列长度为 LiL_iLi，batch 内最大长度为 Lmax⁡=max⁡iLi L_{\max}=\max_i L_i Lmax=imaxLi

从 huggingFace 下载大模型命令备忘假设是为2张 2080Ti显卡（11GB/GPU）下载一个10GB左右的模型需要hf的tokenCUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server –model-path /data/models/Qwen2.5-14B-Instruct-AWQ –tp 2 –dtype float16 –host 0.0.0.0 –port 30000 –context-length 8192 –mem-fraction-static 0.80

不用一行恶意代码，就能教坏你的 AI Agent：SkillPoison 只用了 15 条『成功经验』💡 一句话总结：吉林大学团队的 SkillPoison（arXiv 2610.07645）展示了一种新的 Agent 技能库投毒方式——不注入任何恶意内容，每条投喂经验都任务正确、验证通过、词法干净，只是精心挑选+注释，就能让技能提取器自己「悟」出一条坏规则，攻击成功率最高 95.71%。

把图转成文字再答题，为什么反而错得更狠？图森破了：答案就吊在那一条边上💡 一句话总结：「先把图表解析成结构化文本，再让 LLM 推理」是个听起来很美的省钱方案——复用、可检索、省 token。这篇论文做了个干净利落的体检：同一个模型、同一套题，喂它源结构的真值文本能考 87 分，喂它自己从图片提取的文本只有 23 分。修好了所有格式错误只涨 0.7 分；而只要丢掉答案需要的那一条边，再像原图也没用。

DeepMind 发布 Genie 4：世界模型会「出声」了，一句话实时改写世界💡 一句话总结：DeepMind 10 月 27 日发布实时交互世界模型 Genie 4（研究预览）——首个原生出音频的实时世界模型，一句话就能实时改写世界，一致性时长翻倍到约 2 分钟。机器人训练环境是被看好的正经用途；「AI 生成游戏」则被 HN 高赞评论用一笔经济账泼了冷水。

为什么大模型总敢一本正经地胡说？研究者关掉了它脑内的 8 个「自信开关」💡 一句话总结：NeurIPS 2026 的 CoCHI 不微调、不加参数，先给模型的预测按「对错 × 置信」分四个象限，再用因果分析找出专门负责「自信地答错」的那几个注意力头，推理时直接关掉——只动 6~10 个头，五个基准上校准误差一致下降、精度不掉，校准产物只有 40 字节。

百度 Unlimited OCR 2 拆解：SR-SWA 如何让百页文档的 KV 缓存不再涨百度文心团队 10 月 27 日开源了 Unlimited OCR 2，一个 3B 的 MoE 文档解析模型。宣传语是"任意页数"，比这句更值得看的是它的做法：解码时每一步只看固定数量的视觉 token，所以 100 页和 300 页的单步开销差不多，KV 缓存峰值也不再跟着页数往上涨。

吴凡wudianmei

从0搭一个AI Agent（一）：为什么你需要的不是“调一次API”很多人以为接入大模型，就是把接口 curl 一下，拿到文本往页面上一贴，完事。我独立做了一年AI应用（玄镜，一套已上线的占卜/疗愈Web产品），可以很肯定地说：单次API调用，连一个能上线的功能都撑不起来，更别说产品。

0.8B 干翻 235B：阿里 OvisOCR3 把文档解析、KIE、跨页表格全塞进一个能本地跑的小模型TL;DR：阿里 ATH-MaaS 团队 10 月 20 日挂出 OvisOCR3 技术报告：一个 0.8B 的统一 OCR 模型，单个模型吃下文档解析、通用 OCR、关键信息抽取（KIE）、文档图表描述、跨页表格重建五大任务族。成绩单：OmniDocBench v1.6 总分 96.74（超 Gemini 3 Pro 的 92.91）、OCRBench v2 英文 65.9 / 中文 61.3 双榜第一、四个 KIE 基准全第一，拍照/退化文档场景掉分只有上代一半。权重已开源（HuggingFace:

10款国产模型写离职证明实测：为什么两极分化同一个 prompt，十款国产模型写离职证明，裁判七维打分下来，第一名均分 0.73，垫底只有 0.16——这已经不是梯队差距，是物种差距。这次模型实测要回答的问题很具体：写离职证明为什么两极分化到这种程度？是模型能力不行，还是任务本身把「会写」和「会想」分开了？下面把打分表、翻车原文和评测流水线一次拆完。

别再追“最强模型”了，先想清楚你要什么一份给普通用户的选模型指南。不推荐任何具体模型，只给方法——因为方法不会三个月过期，模型会。你大概也遇到过这种场面：听说某个新模型“史上最强”，兴冲冲切过去，让它写封邮件、润色一段文案。结果开头就是“值得注意的是”，通篇一股熟悉的 AI 味。你叹口气，切回旧模型，甚至开始怀疑：是不是我不会用？

Qwen-image-2.1 本地部署保姆级教程 | 首页技术教程很多人部署 ComfyUI，卡住的并不是模型下载，而是最后那一步：模型明明在目录里，节点也能拖出来，运行时却接连报错。

RAG 该在什么时候「拒绝回答」？一个带三处检查点的 Demo，附 20 例评测数字我把一个质检场景的 RAG Demo 开源了（TriageOps，仓库在文末）。它最值得看的不是准确率，而是它在哪里停下来：

先吃饱再说

如果你无法度量它，就无法管理它——LangSmith 让 Agent 的每一步都有迹可循摘要：用 LangChain/LangGraph 开发 Agent，最大的痛点是“盲盒感”——调用了哪个工具、每步耗时多少、Token 花在哪，全靠猜。本文从 LangSmith 的可观测性定位出发，拆解 Tracing、Datasets、Evaluators、Experiments 四大能力，并通过一个真实 RAG 项目的量化评估，展示如何让 Agent 从“黑盒”变成“白盒”。

向量检索找不到那个型号，混合检索和重排怎么搭用户问 SG-2048A 的替换型号是什么。知识库里明明有这份文档，向量检索返回的却是几篇讲产品线的综述。翻回去看，那份文档的标题里就有 SG-2048A，只是正文很短，讲得也不深。

国产算力·昇腾 910C 大模型推理优化（下）：源码修改与算子优化，提速30%｜得物技术本文为《昇腾 910C 大模型推理优化实践》下篇。上篇已覆盖昇腾 910C 的软硬件环境、性能基线与瓶颈分析，以及无需改动源码的镜像升级与参数调优。本篇承接上篇，继续深入 vllm-ascend 源码修改、算子层优化与 MTP 投机解码，并给出优化前后的完整性能对比与方法论总结。