llm

同样的模型，为什么本地和云 API 差别那么大：量化精度、聊天模板与采样参数的三大元凶核心结论：同一个模型，本地跑和云 API 调用效果天差地别，多半不是模型不行，而是三件最容易被忽略的事没对齐——本地为了省显存做了量化（int4 精度损失是头号元凶）、聊天模板用错导致模型把对话当成一坨文本、采样参数不同让输出气质完全不同。把这三层对齐，差别立刻缩小大半。

ReAct 循环跑偏的三种样子，以及怎么在工程上兜住几乎所有 Agent 框架的骨架都是同一个循环。模型想一下，决定调哪个工具，拿到结果再想一下，直到它认为可以回答。这个循环看起来极简单，写一个最小实现不超过一百行。

Agent 如何进行工具调用：从一次 Function Calling 到生产级工具编排的完整链路核心结论：Agent 调用工具不是「模型自己用代码调函数」，而是一次请求—决策—执行—回传—再生成的多轮闭环。模型只负责「决定用哪个工具、填什么参数」，真正的执行在应用程序侧完成。理解这条链路，是做好 Agent 工程的第一课。

王博要战斗

TensorBoard 和 W&B(Wandb) 到底该怎么接进 LLMOps 平台？——从“看曲线”到“管实验”，再到平台该做哪一层适合读者：正在或准备给训练平台接入实验追踪能力的人，尤其是分不清“平台该做什么、工具该做什么”的工程师。

用户835141404949

本地跑小模型做语音唤醒：手上那块子能带动吗先说结论：能带动，但别指望它像手机喊"小爱同学"那样灵敏。我手上这块是 imx6ull 的开发板，512MB 内存，跑 Linux，之前一直拿来做点串口收发的小活。前阵子突发奇想，能不能让它听懂一句"你好板子"，然后点亮一个 LED。折腾了差不多两个周末，中间翻车好几次，今天把过程完整写下来，包括我踩的坑。

RAG 学到最后，我真正学会的不是“检索”，而是让系统知道自己缺什么从一条 LangGraph 问答链路，复盘本地 RAG、充分性评估与联网兜底刚开始学习 RAG 时，我理解的流程很简单：

Bug 定位实战：把报错丢给 Codex，它是怎么修的上一篇用 read-only 模式读懂了陌生代码库。这篇往前走一步——从"看懂"到"动手改"，场景是每个开发者的日常：修 Bug。

中小企业跑125B 大模型：显存装不下的时候，Strata 做了什么作者：吴佳浩撰稿时间：2026-10-24 测试环境：面向工程师与研究者的体系化分析。之前我们在个人pc上做了尝试今天待大家从企业视角来来看看这条线是不是行得通。阿拉不止讨论「跑起来了没有」，更追问「这件事对本地部署意味着什么、代价又落在哪一层」。 125B 级 MoE 模型过去只活在几百 GB 显存的服务器上。Strata 把「模型装不下」这件事，从一道算术死题，换成了一个带宽工程题。本文是这个系列的第一篇，只讲一件事：当显存放不下模型时，Strata 到底把什么东西放在了哪里，又是怎么把「显存

学IT的周星星

LangGraph：用「流程图」的方式编排 Agent📚 系列：《Agent 从入门到上手》· 30 天连载 · 第 17 篇（框架篇第 3 篇） 🎯 本篇目标：把 State / Node / Edge / Conditional Edge 四个词讲到你能在白板前给别人画出来；亲手画一张「会回头」的图；用实测数字看清「图 vs 裸 Agent」的成本账；最后给图装上人工审核闸口、玩一把时间旅行 ⏱️ 阅读时长：约 30 分钟 🧪 特别说明：本篇所有运行结果都在 langgraph 1.2.18 上真机跑过，依旧零 API Key、零网络（沿用上一篇那

Codex 周活涨 6 倍背后：AI Agent 的四条战线「一篇读懂」系列 Vol.004：一个话题，一篇文章，讲透讲清。先看一组数字。OpenAI 披露：今年 2 月以来，Codex 的周活跃用户涨了 6 倍，突破 500 万。增长结构更有意思——知识工作者的增速，是开发者的 3 倍。

全文 - Improving Language Understanding by Generative Pre-Training原文自然语言理解涵盖多种多样的任务，例如文本蕴含、问答、语义相似度评估以及文档分类。尽管大规模无标注文本语料库非常丰富，但用于学习这些特定任务的有标注数据却很稀缺，这使得经过判别式训练的模型难以取得令人满意的表现。我们证明，通过在多样化的无标注文本语料库上对语言模型进行生成式预训练，再针对每个具体任务进行判别式微调，可以在这些任务上取得显著提升。与以往的方法不同，我们在微调过程中使用了任务感知的输入变换，从而在只需对模型架构进行最小改动的情况下实现有效的迁移。我们在一系列自然语言理解基准测试上验证了该方法

【Plain Language Large Model】【从麦当劳点餐到Redis接入：MCP如何让AI工具集成变简单】流食般投喂课程主题：MCP（Model Context Protocol）技术解析与实战入门核心观点：MCP 不是又一个封闭的收费接口，而是 AI 应用与外部工具之间的“万能 Type-C 口”。它把传统模式下 M×N 的定制化开发，压缩成了 M+N 的标准接入。

大侠在此在在此

我花了不到1块钱，用python把自己一年的1500次会话做成了个人知识库作为一个 AI 深度使用者，这一年下来，我在各大 AI 平台（尤其是 DeepSeek）积累了 1500 多次对话。

从线性 RAG 到 Agentic RAG：用 LangGraph 搭一个会判断、会纠错、会兜底的检索闭环面向中级开发者｜读完就能照着改｜代码全部来自真实跑通的《天龙八部》问答项目先说结论：RAG 的瓶颈从来不在向量库，而在"判断"二字。

【大模型应用开发:基于GPT-4和ChatGPT】(使用LangChain框架和插件增强LLM的功能)本文探讨LangChain框架,以及GPT-4 插件为代表的外部能力扩展方式.我们将研究 LangChain 如何连接不同语言模型,如何把提示词、工具、记忆和外部知识组合起来,再理解插件把模型接入实际服务的工作原理.这些知识可以帮助我们开发比单轮问答更复杂的LLM应用.前面主要围绕模型API构建程序.本文进一步把模型放入一个完整的应用流程:数据从哪里来,哪些操作交给工具执行,历史对话如何保存,最终答案如何追溯到依据.示例围绕这些问题展开;这里仍沿着同一条学习路径,使用当前接口完成相应任务.

LLM | 大模型数据公司（Scale AI、Mercor、Surge AI 等）的由来、现状与演变这篇博客介绍“给大模型提供数据的公司”，如 Scale AI、Mercor、Surge AI 等的由来、现状与演变。

WorkBuddy 接入自定义模型教程：接入 GPT、Claude 等大模型你已经在 WorkBuddy 中搭好了 AI 工作流，却发现想用的模型不在当前模型列表里？或者，你已经拿到了 GPT、Claude 等模型的 API Key，尝试在 WorkBuddy 中添加自定义模型，却卡在接口地址、模型 ID 等配置环节，折腾半天还是报错？

2026年10月AI大事盘点：世界模型、开源万亿参数与智能体激战2026 年 10 月，AI 圈像被打翻了的多米诺骨牌：谷歌端出能「运行世界」的 Genie 4，OpenAI 用 GPT-6.1 Terra 把电脑操作成本打到了人力以下，月之暗面把 3 万亿参数的开源大模型摆上桌，Anthropic 一边递交 IPO 一边推出个人智能体 Claude Duet。这一个月，大模型从「会说话」集体转向「会干活」，开源与闭源、通用与专用、世界模型与智能体三条赛道同时开火。

想让AI能力翻倍需要多少数据：874条专家轨迹的后训练杠杆效应几百条就够，不是几百万条。 2026 年 1 月，美国 AI 独角兽 Mercor 拿出一套只有 874 条的专家训练数据，对开源大模型 GLM 4.6 做了一轮单 epoch 的长程强化学习（long-horizon RL），结果它在复杂专业 agent 任务上的 Pass@1 与 mean score 直接近翻倍，corporate law 的 Pass@1 更是翻了三倍。过去想让模型变聪明，预训练数据动辄以万亿 token 计；到了 agent 后训练阶段，几百条高质量轨迹就能换来性价比拉满的能力提

预算只够升级 10% 的查询，该升级谁？金融文档 QA 的Token分配课💡 一句话总结：批量 RAG 有个很少有人正式处理的问题：150 个查询共享一份 token 预算，而「给某个查询上更深检索」的额外成本能差十倍。这篇论文把升级决策做成了资源分配题，结论精确而克制：成本可以预测得很准（R²=0.93），但「升级有没有用」几乎猜不中（AUROC 0.60）。所以在紧预算下，按「收益 ÷ 每 token」排序比按收益排序多救回 7 个升级机会、质量 +0.034、总 token 省 46.6%——而想在整个预算曲面上全面赢，得先把收益预测本身做出来。