大语言模型

爱听歌的周童鞋

MIT 6.5940 | TinyML 与高效 AI 计算 | Fall 2026 | 笔记 | Lecture 14：LLM Post Training学习 MIT 韩松教授讲授的 MIT 6.5940: Tiny ML and Efficient AI Computing 课程，本篇文章记录第十四讲：LLM 后训练的学习内容，和大家一起分享交流😄

【随笔】推理准入控制：请求进来之前，先给KV缓存留出位置KV缓存量化可以减少单个Token的存储成本，服务仍然需要决定同时接纳多少请求。十个短问答与十份长文档占用的资源完全不同；只限制HTTP连接数，很难解释为什么相同并发有时顺畅、有时排队很久。今天把输入长度、输出预算和缓存容量放进同一本账，写一个可运行的准入模型，再区分它与推理引擎的调度参数。

【随笔】KV缓存量化：省下的显存，要付出多少数值误差上一篇把KV缓存移到CPU内存，分析了逐层预取的传输等待。还有一条节省容量的路线，把每个缓存元素保存得更紧凑。问题随之变成，节省了多少字节，恢复数值要做多少工作，最终生成结果会受多大影响？

【随笔】KV缓存卸载：逐层预取能藏住多少传输时间昨天的随笔讨论了Prefill与Decode位于不同实例时怎样交接KV状态。今天把范围缩小到一台机器：模型权重已经能放进GPU，短提示也能正常生成，长提示却在生成过程中耗尽显存。把KV缓存移到CPU内存能腾出多少空间？下一枚Token又要为此等待多久？

MCP本地服务集成避坑：从Stdio管道僵死到双向JSON-RPC稳健通信前言：在本地开发 MCP 服务端时频遭客户端挂起与通信断联？本文剖析 Stdio 管道受杂质输出污染导致协议僵死的根因，给出零延迟的双向通信防御架构。个人主页：艺杯羹

【随笔】连续批处理：长短请求怎样在迭代之间补位昨天的推测解码减少同一请求逐Token调用目标模型的轮次。今天换一个视角：服务里同时有许多请求，有的只生成一句话，有的还在写长文。连续批处理在每轮迭代边界更新请求集合，让已完成请求退出，让等待请求补入可用位置。

快速上手大模型推理vllmLiteMoE 是一个小型 MoE 推理引擎，约 1600 行 Python。它负责 forward、KV 和生成循环，专家、Attention 和路由算子直接调用 vLLM。

后端转 Agent 岗面试怎么答：8 个高频问题与应答口径这篇是工具型整理，不聊趋势，只给能直接照着说的答法。每个问题按四段拆：问题是什么，常见的错误答法，正确口径，以及面试官大概率会追问到哪。

weixin_46846685

从“看懂”到“做到”：视觉-语言-动作模型如何让机器人真正执行指令“把桌上的红色杯子拿起来，放进水槽。”这句话对人类来说几乎是本能。但对机器人而言，它同时要求三件事：看懂桌上的杯子、理解“红色”“水槽”这些语义概念、规划并执行一系列关节运动。传统机器人系统把这三件事拆成独立的模块——感知模块负责检测物体，规划模块负责生成路径，控制模块负责执行动作。每个模块各自优化，但模块之间的接口成了信息损失的瓶颈。

5.27 分钟干完后端和全部测试：一场三小时笔试的五个失分点，四个不在代码上一场三小时的笔试，功能全跑通，代码实现放在同批里算合格偏上，租户隔离、幂等、8 路并发、流式导出、事务边界都做了。结果没过。

杭州华望MBSE

AI将载着MBSE驶向哪里？从前台工具转向工程语义与验证层基于模型的系统工程（MBSE）是一种以模型组织需求、架构、接口、行为与验证关系的工程方法。随着大语言模型具备需求抽取、模型片段生成和文档编制能力之后，人工建模在MBSE流程中所占用的时间和人力正逐步减少。当模型生成的成本显著下降后，MBSE是否仍然具有价值？

AI人工智能+

智能文档抽取系统通过“OCR+大模型”双引擎，实现从图像到结构化数据的精准转化，突破传统OCR仅识别文字的局限你有没有过这样的经历——手里攥着一沓合同、发票、申请表，翻来覆去只为找到某个关键数字？或者见过窗口工作人员对着扫描件，一个字一个字地往系统里敲？

一文读懂Kimi K3.1 Pro核心基础知识欢迎大家关注Rocky的知乎：Rocky Ding 《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～

Android无障碍自动化死循环全解：从动态角标伪匹配到单向状态机防御实战前言：在借助 AI 编程助手开发移动端 Android 无障碍自动化服务（AccessibilityService）或轻量状态检测工具时，真机“狂按返回键”、“界面疯狂晃动”以及“死循环闪退”是困扰开发者的恶性故障。大模型生成的代码习惯性依赖 findAccessibilityNodeInfosByText("微信") 等可见文本判据，却忽视了真实宿主环境中动态未读角标（如微信(494)）导致的文本漂移，进而诱发连续错误的物理回退风暴。本文基于真实移动端无障碍自动化工程的深度排错实战，剖析动态角标击穿

比特币 Core 取消 AI 易发现漏洞的保密期比特币核心项目（Bitcoin Core）本周四合并了一项安全政策修订：对于大语言模型（LLM）能轻易重新发现的漏洞，不再执行长达数月的保密期，而是立即向所有仍在维护的主版本回移修复、尽快发布点版本，并同步公开安全公告。

两个入口答案不一致先别调模型：6 行入口口径对账表（附脚本）企业知识库上线之后，有一类反馈很稳定：用户说系统答错了，发来截图；把那句话原样拿到网页端问一遍，答案是对的。

爱听歌的周童鞋

MIT 6.5940 | TinyML 与高效 AI 计算 | Fall 2026 | 笔记 | Lecture 12：Transformer and LLM学习 MIT 韩松教授讲授的 MIT 6.5940: Tiny ML and Efficient AI Computing 课程，本篇文章记录第十二讲：Transformer 和 LLM 的学习内容，和大家一起分享交流😄

MoE 与推测解码（Speculative Decoding）加速：为什么慢、什么时候慢、怎么让它不慢？学术交流群：922230617目录0. 引言0.1 基础0.1.1 算法机制0.1.2 工程实现0.1.3 模型架构

西班牙团队开源 AI 评分平台 EvaluAI：加评分标准反而更不准，但更稳定批改开放式试题一直是高等教育最难啃的瓶颈之一。选择题可以秒级机评，但论文、证明题和算法设计题依赖人工判断，而人工判断慢、贵且不一致。西班牙埃斯特雷马杜拉大学团队近日开源了 EvaluAI——一个用大语言模型批改自由文本作业、生成反馈并交由教师审核的平台，论文发表于期刊 SoftwareX，采用 Apache-2.0 许可证，部署在用户自有基础设施上，而非锁定在商业云服务中。

【随笔】RAG重排怎样挑证据：先扩大候选，再把相关片段排到前面上一文把RAG的问题拆成了检索证据和回答忠实性。接下来处理一个常见失败：正确文档已经被检索出来，却排在后面，最终拼给模型的前几段没有包含它。