语言模型

【Runtime推理引擎④】多流并发执行：用Stream+Event让计算与通信重叠本系列是推理引擎 Runtime 模块的深度拆解，面向对 LLM 推理系统感兴趣的开发者。上一篇我们聊了 CUDA Graph 如何消除 Kernel Launch 开销，今天来看看多流并发怎么让 GPU"不闲着"。

Hugging Face 发布 Carbon-X：一个能够直接理解 DNA 的大语言模型148 亿参数的大语言模型，可以接过一段 DNA，再用英语解释突变可能带来的影响。**Hugging Face 发布的 Carbon-X，把原始序列带进了聊天窗口。**但能对话，距离可靠地解释生命，还有多远？

通过特化小型语言模型的词表将推理成本降低百分之七十七在大规模部署大型语言模型时，企业常常面临沉重的财务压力。尽管拥有数万亿参数的尖端模型在复杂推理任务中表现出色，但如果将常规的信息提取、文本分类或格式化任务全部交给它们处理，将会迅速耗尽企业的预算。这种经济上的压力加速了小型语言模型（SLM）的普及。然而，由于继承了庞大父代模型的臃肿分词器，即便是标准的小型语言模型也会带来不必要的计算开销。通过定制和特化小型语言模型的词表，开发者可以实现显著的推理加速，并将推理成本惊人地降低百分之七十七。在这篇深度评测中，我们将剖析词表剪枝的技术原理，提供详细的实现指南，并

大模型任我行

英伟达：双重采样修正强化学习奖励📖标题：Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation 🌐来源：arXiv, 2610.16593v1

在自动化脚本中调用大语言模型自动化脚本擅长做确定的事：点击固定的坐标、读取稳定的控件、按预设分支执行。但现实里的自动化流程往往卡在“不确定”上——通知文本千变万化、用户意图需要理解、页面结构偶尔漂移。把大语言模型嵌进脚本，解决的就是这类需要语义判断的环节。冰狐平台提供了原生的 BigModel 对象，调用方式比手动拼 HTTP 请求、处理签名要直接得多。下面从接口本身出发，写清楚在冰狐自动化脚本中怎样调用大模型，代码会给出几个不同层次的样例，最后讨论几个实际跑起来才会遇到的问题。

一个温度参数，能修复多少过度自信？系列：可信预测实验室：从模型置信度到可检验的拒答前面的实验已经说明，同一组分类答案可以保持完全不变，同时具有不同的概率质量。但把几个温度都试一遍，再挑出最好看的结果，并没有回答真正的研究问题：如果只允许使用一份事先隔离的校准数据，学到的温度能否改善另一份数据上的概率？本篇只改变这一个环节。模型权重、分词器、标签映射和推理配置全部冻结，新增的可审查产物是校准池预测、温度优化轨迹和审计池上的配对指标。

智能体该向哪段经验学习？Routed CL 在混合任务中探索记忆分流封面为 AI 生成的概念示意，装置和存储空间仅作比喻，不是论文架构、真实设备或实验结果。北京时间 10 月 29 日 04:03，Meta FAIR 的 Michael Philip 等研究者提交了 Routed Continual Learning 预印本，探索让智能体自己选择经验的保存方式和共享范围。本文解读这项近三天公开的研究，不将其写成今天的新发布。它值得关注的问题很实际：一个助手交替处理多类任务时，过去的经验究竟应该送给谁？论文与提交记录

微软技术日报 2026-11-01：语言模型 API 免申请、8 个威胁组织被分四档从这里开始，五分钟看完微软技术圈一夜之间的变化。10 月 27 日发的 Windows App SDK 2.6.4 没有发布会，也没有配大张旗鼓的博文，但里面有一个改动会直接改到所有想在 WinUI 里调用本地模型的团队：Language Model API 不再要求应用先解锁 Language Model Limited Access Feature。变更标识写在发布说明里，LanguageModel_RemoveLimitedAccessFeatureRequirement。

小思框架 · 30M 级长上下文新架构对比技术报告对象：我们的 RWKVMLATransformer（rwkv4_mla_s6uw256） vs. Kimi K3（mini 缩放版） vs. DeepSeek V4（mini 缩放版）

【Runtime推理引擎①】Runtime架构设计：从Session到Graph Executor的完整骨架本文是「Runtime推理引擎」系列的第一篇，带你从零理解推理Runtime的核心架构。如果你以为Runtime只是"调kernel的for循环"，那这篇文章一定会刷新你的认知。

准确率不变，概率质量也不变吗？系列：可信预测实验室：从模型置信度到可检验的拒答前一篇固定模型预测，只改变分箱方式，发现校准误差会随测量口径变化。这一次把问题再往前推进：如果每条样本的预测类别完全不变，概率质量是否也应该不变？这不是文字游戏。准确率只记录答案是否命中标签，无法区分一次谨慎的错误和一次几乎不给正确答案留余地的错误。科研报告若只保留一个准确率数字，就可能把这部分差异全部丢掉。

长期记忆让智能体更可靠，还是让错误持续累积？假设科研助手曾经用某种清洗规则处理一份数据，并得到正确结果。它把规则写入长期笔记，下次遇到字段相似的数据便照搬，却忽略了单位已经改变。更麻烦的是，新结果又被总结为“成功经验”，进入下一次检索。这是说明问题的假设场景，不是本次实验。

JAVA_AI人工智能项目实战

深度学习实验笔记自从2022年，ChatGPT横空出世后，LLM的使用，变得普及化。就像电灯的发明，让电走进千万家一样。而ChatGPT这类LLM，底层就是使用的深度学习DeepLearning来训练获取到的。

生成式引擎优化技术解析：大语言模型外部内容采信机制与工程实践大语言模型的广泛普及，使 AI 问答逐步成为公众获取信息的重要途径。与之相伴，一个技术议题开始受到开发者和内容工程从业者的关注 —— 生成式引擎优化，即 GEO。其研究的问题可以概括为：外部内容如何被大模型识别、收录，并在用户提问时被优先采信与引用。这一问题涉及语义理解、信息架构、信源治理与持续监测等多个层面，具有较高的工程复杂度。本文以技术视角对其底层机制、关键环节与落地难点作系统梳理，以供相关从业者参考与探讨。

《C++ 项目：手写大模型接入 SDK》DeepSeek接口设计（上）：初始化和全量响应🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》《Linux系统从入门到实践》《Linux网络从入门到实践》《Qt 方寸极境》《MySQL》

【AI编译器入门⑥】端到端编译流程实战：ONNX → TVM → TensorRT全链路本文是「AI编译器」系列的第六篇。前面我们分别讲了前端、中端、后端，今天把它们串起来——从ONNX模型开始，经过TVM中端优化，再选择不同的后端（CUDA/CUTLASS/TensorRT），最终生成可部署产物。本文带你完整走一遍端到端编译链路。

【Plain Language Large Model】【从麦当劳点餐到Redis接入：MCP如何让AI工具集成变简单】流食般投喂课程主题：MCP（Model Context Protocol）技术解析与实战入门核心观点：MCP 不是又一个封闭的收费接口，而是 AI 应用与外部工具之间的“万能 Type-C 口”。它把传统模式下 M×N 的定制化开发，压缩成了 M+N 的标准接入。

AI模型调用笔记

Copilot Fusion：用 Python 跑通模型级联模型接口返回了 HTTP 200，后面的程序却没法继续：JSON 少了字段，修改计划指向项目里不存在的文件，或者答案在输出上限处被截断。

自演化智能体驾驭论文：Self-evolving Agent Harness（arXiv:2610.18813），来自中关村学院，中关村人工智能研究院和中国科学技术大学。

日日大王学编程

LangGraph 基本用法详解：从入门到实战在构建基于大语言模型（LLM）的应用时，我们常常遇到这样的场景：一个问题可能需要多次调用模型才能解决；需要根据模型的输出决定下一步做什么；需要调用外部工具（搜索、数据库查询等）；某些任务需要反复执行直到满足条件。