语言模型

【LLM推理与Serving⑪】MoE推理与MLA：DeepSeek-V3架构下的显存与通信权衡本系列博客专注于LLM推理与Serving的核心技术，从基础概念到工程实践，循序渐进。本篇是第11篇，我们深入MoE（混合专家）模型的推理系统，结合DeepSeek-V3的架构设计，探讨专家并行、MLA（Multi-head Latent Attention）等关键技术如何在显存与通信之间找平衡。

Alluxio + OCI：为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐本文作者： Pinkesh Valdria - OCI 全球 AI/ML/GPU/ 存储基础设施专家团队总监 Bin Fan -Alluxio 创始成员、技术副总裁

扩展机器人智能体的在线探索能力工作来自哈佛大学、英伟达、加州大学伯克利分校、麻省理工学院和斯坦福大学，2026年10月。这篇论文《Scaling Online Exploration for Robot Agents》的核心贡献，是展示一条机器人学习路径：让冻结的大模型通过在线试错，把经验积累为可执行的感知、规划与控制程序。机器人智能体探索（RAX）的优势在于程序化技能的可检查性、复用能力，以及对场景变化的适应；主要不足则是探索成本高、实验条件不完全对等，真实机器人上的自主性和可靠性仍缺乏充分验证。

PhysicalWords：一种用于构建机器人操作中潜推理过程的词汇体系论文“PhysicalWords: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation”，来自英伟达、北大和伯克利分校，2026年10月。

一起学安全技术

拆大模型 03｜注意力的一句话版本：不用论文讲清 Attention第 01、02 篇连起来看，是这样一个过程：模型手上只有一块白板，这一轮要用的东西全写在上面；每生成一个字，它都要把白板上已经写下的内容重新过一遍，才猜得出下一个 token。

【零基础学AI】第 28 章——大语言模型怎样训练出来上一章的小模型训练 300 次后，能沿着已有前缀续写。现在要分清两件事，模型参数是怎样得到的，以及参数固定以后，程序怎样选择输出。把温度从 1 改成 2，不等于重新训练；输入一条要求，也不会自动把它写进模型参数。

DFT计算杂谈

可DIY布里渊区图像绘制编辑器晶体倒易空间几何理论、高对称点解析推导与三维交互式渲染算法实现三维理想晶体的空间周期性由三个线性无关的初基正格矢描述。任意晶格格矢表示为。正空间初基原胞的体积为标量三重积。为对偶描述晶体中平面波的周期性，定义倒易空间初基格矢：

从VLM规划器到机器人智能体：面向依赖历史信息的操控任务自演化框架26年10月来自中科大、上海AI实验室、上海交通大学、阿联酋MBZAI和浙大的论文“From VLM Planners To Robotic Agents: Self-evolving Harnesses for History-dependent Manipulation”。

从空间 Scaling 到时间 Scaling摘要：LLM 在预训练规模上遇到瓶颈后，行业叙事正在从"拼算力、拼数据量"转向"拼模型自我改进的迭代速度"。这个直觉方向是对的，且已被产业界实际押注。但"让模型自己改自己、然后疯狂迭代"作为机制主张是脆弱的：迭代速度只是放大器，不是资产；真正决定上限的是外生新颖性与反馈可信度。本文记录一个想法被三次修正的完整过程，并给出一个可证伪的重述版本。

《C++ 项目：手写大模型接入 SDK》Ollama接口设计（上）：初始化、全量响应实现和测试🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》《Linux系统从入门到实践》《Linux网络从入门到实践》《Qt 方寸极境》《MySQL》

《C++ 项目：手写大模型接入 SDK》LLMManager架构设计与实现🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》《Linux系统从入门到实践》《Linux网络从入门到实践》《Qt 方寸极境》《MySQL》

【LLM推理与Serving⑧】多机多卡Serving：TP/PP/负载均衡与弹性扩缩容全攻略系列文章索引：本系列从基础概念到工程实践，系统梳理LLM推理与Serving的核心知识。本文为第8篇，深入讲解多机多卡场景下的并行策略、负载均衡与弹性架构。

OpenRUA 方法分析论文：OpenRUA: Robot-Use Agents Are Zero-Shot Visuomotor Policies，UCL / CMU，arXiv 2610.02459, 2026.10.

大语言模型与运筹规划双闭环共生（LLM-OR）：体系架构、理论机理与落地实践在现代复杂智能决策系统中，纯数据驱动的“联结主义（Connectionism）”与纯规则驱动的“符号主义（Symbolism）”均面临难以跨越的技术瓶颈：

【LLM推理与Serving⑤】Prefix Cache前缀缓存：让重复prompt不再重复计算大家好，我是你的AI Infra学习搭子。上一篇我们聊了Speculative Decoding如何让大模型"一次蹦好几个字"，今天我们来聊另一个在生产环境中收益巨大的优化——Prefix Cache（前缀缓存）。如果说Speculative Decoding是在Decode阶段"挤牙膏"，那Prefix Cache就是在Prefill阶段"薅羊毛"——同样的prompt前缀，凭什么每次都要重新算一遍？

理解推理大语言模型的可监控性！要理解推理大语言模型的可监控性，我们需要从“为什么难”以及“怎么做到”两个层面来拆解。传统的大语言模型（如早期的GPT系列）通常是一次性给出答案。而推理模型（如OpenAI o1、DeepSeek-R1等）的核心特征是 “思维链”——它们在给出最终答案前，会先进行一段内部的、多步骤的推理过程。

《C++ 项目：手写大模型接入 SDK》本地 Ollama 部署与适配🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》《Linux系统从入门到实践》《Linux网络从入门到实践》《Qt 方寸极境》《MySQL》

面向科学的科学AI智能体：任务、架构、评估与挑战综述论文：AI Agents for the Science of Science: A Survey of Tasks, Architectures, Evaluations, and Challenges（东北大学 Network Science Institute），发表于 Findings of ACL 2026。

《C++ 项目：手写大模型接入 SDK》Gemini接口设计（上）：初始化、全量响应实现和测试🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》《Linux系统从入门到实践》《Linux网络从入门到实践》《Qt 方寸极境》《MySQL》

在Open-WebUI中提升向量化速度在之前的内容中，我们完成了一则壮举——使用Open-WebUI在一台旧安卓手机上搭建了一个完整的、专业级的AI聊天平台。然而，当前的网站存在一个极其影响用户体验的问题，就是每当用户在对话中开启网页搜索（Web Search）时，即使是一个简单的提问都需要等待20分钟以上才能生成响应。