llm

WorkBuddy 接入自定义模型教程：接入 GPT、Claude 等大模型你已经在 WorkBuddy 中搭好了 AI 工作流，却发现想用的模型不在当前模型列表里？或者，你已经拿到了 GPT、Claude 等模型的 API Key，尝试在 WorkBuddy 中添加自定义模型，却卡在接口地址、模型 ID 等配置环节，折腾半天还是报错？

2026年10月AI大事盘点：世界模型、开源万亿参数与智能体激战2026 年 10 月，AI 圈像被打翻了的多米诺骨牌：谷歌端出能「运行世界」的 Genie 4，OpenAI 用 GPT-6.1 Terra 把电脑操作成本打到了人力以下，月之暗面把 3 万亿参数的开源大模型摆上桌，Anthropic 一边递交 IPO 一边推出个人智能体 Claude Duet。这一个月，大模型从「会说话」集体转向「会干活」，开源与闭源、通用与专用、世界模型与智能体三条赛道同时开火。

想让AI能力翻倍需要多少数据：874条专家轨迹的后训练杠杆效应几百条就够，不是几百万条。 2026 年 1 月，美国 AI 独角兽 Mercor 拿出一套只有 874 条的专家训练数据，对开源大模型 GLM 4.6 做了一轮单 epoch 的长程强化学习（long-horizon RL），结果它在复杂专业 agent 任务上的 Pass@1 与 mean score 直接近翻倍，corporate law 的 Pass@1 更是翻了三倍。过去想让模型变聪明，预训练数据动辄以万亿 token 计；到了 agent 后训练阶段，几百条高质量轨迹就能换来性价比拉满的能力提

预算只够升级 10% 的查询，该升级谁？金融文档 QA 的Token分配课💡 一句话总结：批量 RAG 有个很少有人正式处理的问题：150 个查询共享一份 token 预算，而「给某个查询上更深检索」的额外成本能差十倍。这篇论文把升级决策做成了资源分配题，结论精确而克制：成本可以预测得很准（R²=0.93），但「升级有没有用」几乎猜不中（AUROC 0.60）。所以在紧预算下，按「收益 ÷ 每 token」排序比按收益排序多救回 7 个升级机会、质量 +0.034、总 token 省 46.6%——而想在整个预算曲面上全面赢，得先把收益预测本身做出来。

SGLang 的组成结构与基本工作原理SGLang 可以理解为两部分：用于编写复杂 LLM 程序的前端语言，以及负责高吞吐、低延迟推理的运行时 SRT（SGLang Runtime）。两者可以独立使用；现在大多数部署场景主要使用 SRT，通过 OpenAI 兼容接口提供模型服务，并不需要使用前端 DSL。

Jev 实战：为AI工作流引入轻量决策层 x10倍提速｜得物技术前段时间Jev挺火。我一开始也以为它是又一个新模型，实践之后才发现它的与众不同！它是一个可以在AI工作流中，工程化地实现轻量决策层的工具，帮助流程降本提效！

程序猿编码

告别 GPU 空转！token 级调度，Qwen/Llama 高并发推理引擎大模型推理正在从"云端独占"走向"端侧可用"。过去我们做推理优化，更多关注的是服务器上的吞吐和并发；现在越来越多场景要求在一块消费级 GPU、一台边缘设备，甚至本地开发机上跑通 LLM。

前进的李工

Agent 学习笔记 01：从工具调用到 ReAct 循环之前的文章我们说 Agent = LLM + Tools + 记忆 + 规划 + 执行，但是这个概念还能进一步提炼：Agent = LLM + 上下文 + 工具，接下来我们一起了解一下。

vLLM是什么：PagedAttention 让大模型推理快 2-4 倍，还能撑起更长思维链vLLM 不会让模型更聪明。它不开源新模型、不改权重、不做微调，单次问答的答案质量和原模型一模一样你把它理解成「模型的操作系统」更准确：一个开源的 LLM 推理服务引擎（inference serving engine），由 UC Berkeley Sky Computing Lab 发起，用 PagedAttention（分页注意力）把 KV Cache 按 block 管理，把旧系统 60%–80% 的显存浪费压到 4% 以下，同延迟下吞吐提升 2–4 倍。

WorkBuddy 接入自定义模型教程：配置 GPT、Claude 等大模型你已经在 WorkBuddy 中搭好了 AI 工作流，却发现想用的模型不在当前模型列表里？或者，你已经拿到了 GPT、Claude 等模型的 API Key，尝试在 WorkBuddy 中添加自定义模型，却卡在接口地址、模型 ID 等配置环节，折腾半天还是报错？

大模型批量生成中的左填充 (left padding)与右填充 (right padding)：从生成正确性到 GRPO 的混合策略这一节首先明确 padding 要解决什么问题、通常怎么做。目标。仅解码器模型和编码器模型都按 batch 计算张量，而一个 batch 内各条序列长度往往不同。padding 的目标是把它们补齐到同一长度，使 batch 可以表示为一个规则张量。设第 iii 条序列长度为 LiL_iLi，batch 内最大长度为 Lmax⁡=max⁡iLi L_{\max}=\max_i L_i Lmax=imaxLi

从 huggingFace 下载大模型命令备忘假设是为2张 2080Ti显卡（11GB/GPU）下载一个10GB左右的模型需要hf的tokenCUDA_VISIBLE_DEVICES=0,1 python3 -m sglang.launch_server –model-path /data/models/Qwen2.5-14B-Instruct-AWQ –tp 2 –dtype float16 –host 0.0.0.0 –port 30000 –context-length 8192 –mem-fraction-static 0.80

不用一行恶意代码，就能教坏你的 AI Agent：SkillPoison 只用了 15 条『成功经验』💡 一句话总结：吉林大学团队的 SkillPoison（arXiv 2610.07645）展示了一种新的 Agent 技能库投毒方式——不注入任何恶意内容，每条投喂经验都任务正确、验证通过、词法干净，只是精心挑选+注释，就能让技能提取器自己「悟」出一条坏规则，攻击成功率最高 95.71%。

把图转成文字再答题，为什么反而错得更狠？图森破了：答案就吊在那一条边上💡 一句话总结：「先把图表解析成结构化文本，再让 LLM 推理」是个听起来很美的省钱方案——复用、可检索、省 token。这篇论文做了个干净利落的体检：同一个模型、同一套题，喂它源结构的真值文本能考 87 分，喂它自己从图片提取的文本只有 23 分。修好了所有格式错误只涨 0.7 分；而只要丢掉答案需要的那一条边，再像原图也没用。

DeepMind 发布 Genie 4：世界模型会「出声」了，一句话实时改写世界💡 一句话总结：DeepMind 10 月 27 日发布实时交互世界模型 Genie 4（研究预览）——首个原生出音频的实时世界模型，一句话就能实时改写世界，一致性时长翻倍到约 2 分钟。机器人训练环境是被看好的正经用途；「AI 生成游戏」则被 HN 高赞评论用一笔经济账泼了冷水。

为什么大模型总敢一本正经地胡说？研究者关掉了它脑内的 8 个「自信开关」💡 一句话总结：NeurIPS 2026 的 CoCHI 不微调、不加参数，先给模型的预测按「对错 × 置信」分四个象限，再用因果分析找出专门负责「自信地答错」的那几个注意力头，推理时直接关掉——只动 6~10 个头，五个基准上校准误差一致下降、精度不掉，校准产物只有 40 字节。

百度 Unlimited OCR 2 拆解：SR-SWA 如何让百页文档的 KV 缓存不再涨百度文心团队 10 月 27 日开源了 Unlimited OCR 2，一个 3B 的 MoE 文档解析模型。宣传语是"任意页数"，比这句更值得看的是它的做法：解码时每一步只看固定数量的视觉 token，所以 100 页和 300 页的单步开销差不多，KV 缓存峰值也不再跟着页数往上涨。

吴凡wudianmei

从0搭一个AI Agent（一）：为什么你需要的不是“调一次API”很多人以为接入大模型，就是把接口 curl 一下，拿到文本往页面上一贴，完事。我独立做了一年AI应用（玄镜，一套已上线的占卜/疗愈Web产品），可以很肯定地说：单次API调用，连一个能上线的功能都撑不起来，更别说产品。

0.8B 干翻 235B：阿里 OvisOCR3 把文档解析、KIE、跨页表格全塞进一个能本地跑的小模型TL;DR：阿里 ATH-MaaS 团队 10 月 20 日挂出 OvisOCR3 技术报告：一个 0.8B 的统一 OCR 模型，单个模型吃下文档解析、通用 OCR、关键信息抽取（KIE）、文档图表描述、跨页表格重建五大任务族。成绩单：OmniDocBench v1.6 总分 96.74（超 Gemini 3 Pro 的 92.91）、OCRBench v2 英文 65.9 / 中文 61.3 双榜第一、四个 KIE 基准全第一，拍照/退化文档场景掉分只有上代一半。权重已开源（HuggingFace: