语言模型

Evaluation 论文精读路线：Open-ended Eval、Human Eval、LLM-as-Judge 和 Contamination系列：AI 论文精读与复现训练营日期：2026-08-14 适合读者：研究生、LLM evaluation 入门研究者、有工程背景的 AI 读者检索日期：2026-08-14

还不秃顶的计科生

具身智能论文学习8：Octo: An Open-Source Generalist Robot PolicyOpen X-Embodiment→多机器人、大规模数据Diffusion Policy→连续动作序列与扩散动作生成

为什么智能体 Agent 需要本体 Ontology在构建基于大语言模型（LLM）的智能体（Agent）系统时，一个核心矛盾始终存在：LLM 的概率生成特性带来了强大的创造力，同时也引入了不可预测的"幻觉"和行为。当智能体获得自主执行动作的能力后，这种不确定性将直接转化为生产环境中的风险——错误退款、状态不一致、资源无限消耗等。

[论文学习]Prεεmpt:大语言模型敏感提示词清洗系统本文提出了一种名为 Prεεmpt 的提示词清洗系统，用于在用户将提示词提交给不可信的大语言模型（LLM）API之前，对其中包含的敏感信息进行形式化的隐私保护。该系统将敏感词元分为两类——格式依赖型（如SSN、信用卡号）采用格式保持加密（FPE），数值依赖型（如年龄、薪资）采用度量本地差分隐私（mLDP）——在提供严格隐私保证的同时保持高响应质量，并在翻译、RAG、长文本问答和多轮金融问答等任务中验证了其实用性。

面向AI自动化分析的数据仓库建模实践随着大语言模型（LLM）在企业数据分析场景中的应用，越来越多的团队尝试让AI自动完成SQL生成、指标计算和趋势分析。然而在实际落地过程中，许多团队发现即使使用了强大的模型，AI生成的查询仍然频繁出错：选错表、误解字段含义、计算出错误指标。

[论文学习]JBShield:通过激活概念分析与操纵防御大语言模型越狱攻击本文基于线性表征假说（Linear Representation Hypothesis, LRH），系统揭示了大语言模型越狱攻击的内在机制，并提出了一套名为JBShield的防御框架。该框架通过识别输入提示中是否同时激活了“有毒概念”和“越狱概念”来检测越狱攻击，并通过增强有毒概念、削弱越狱概念来操纵模型的隐藏表征，从而实现安全输出。实验表明，JBShield在五个开源LLM上对九种越狱攻击的平均检测F1-Score达到0.94，将平均攻击成功率从61%降至2%。

ZJU_统一阿萨姆

【推理优化】KV Cache 量化：在不牺牲质量的前提下压榨更多内存在讨论权重量化时，我们通常会先收集一批校准数据，统计出每层权重张量的数值分布，然后基于这些静态统计数据确定缩放因子和零点。这个过程可以在模型部署前离线完成，一次校准、处处使用。但当我们把目光转向 KV Cache 时，这套成熟的方法论立刻失效了——因为 KV Cache 的数值分布从本质上就不是静态的。

程序猿编码

不用GPU，不用多线程，我用C++20手写了一个Gemma 3推理引擎现在跑大模型，大家的默认思路是：上GPU、开多线程、调各种推理框架。但有时候你只是想在自己的笔记本上快速试个东西，或者你的场景根本不允许用GPU（比如嵌入式设备、边缘计算节点）。这时候，CPU单线程推理就成了唯一选择。

云和数据.ChenGuang

fastapi的参数剖析先记住核心结论：假设模型前端请求体：{"title": null}只过滤请求里没有提交的字段输出结果：

SpringAI + Ollama 本地大模型Ollama 是轻量化本地大模型部署工具，支持一键部署 Qwen、Llama、LLaVA 等各类开源模型，无需复杂算力与编译配置，可实现本地私有化、零网络开销、数据不外泄的大模型推理能力。SpringAI 是 Spring 官方标准化 AI 开发框架，提供统一的模型调用抽象 API，可无缝适配云端模型与本地 Ollama 模型，实现业务代码无感切换。

浅谈JiuwenSwarm安装重要提醒：安装完成并不代表直接可用，需要先完成模型配置。请参考配置信息进行模型配置适用于 Windows 和 macOS 用户，希望开箱即用、不想自行配置 Python / Node.js 环境。从 gitcode Release 下载对应平台的安装包即可。从 Release 页面下载。

ZJU_统一阿萨姆

【推理优化】连续批处理：当推理吞吐量遇到天花板假设你正在为一个在线翻译服务部署一个基于 7B 参数的大语言模型。单个请求进来，模型逐 token 地生成回答——先算第一个词，再算第二个词，如此往复。此时观察 GPU 的利用率，你会看到一个令人不安的数字：往往只有 10%-30%。服务器在烧钱，算力却在大部分时间里闲置。问题出在哪里？

【无标题】设想这样一个场景。一个长期运行的 AI Agent 正在处理任务。此时，系统发现检索组件效果不好，于是生成了一个新版本，准备在不中断当前会话的情况下替换旧组件。

寥落半伤感

codex接入deepseek+VLM视觉语言模型教程一、Codex接入deepseek：deepseek官方教程：1、运行前请确保已安装Codex CLI或ChatGPT桌面端，并至少运行过一次（即 ~/.codex 目录已存在）

测开小菜鸟

从AI概念到LLM评估：全面解析大型语言模型的能力与评价摘要：人工智能领域术语繁多、层级复杂，初学者往往难以理清 AI、机器学习、深度学习与大语言模型之间的关系。本文首先通过“AI 概念金字塔”厘清这四个核心概念的技术演进脉络，然后系统拆解大语言模型的三个能力层次（基础功能、智能能力、安全与伦理），最后从准确性、有用性、无害性、一致性四个维度构建评价体系，辅以具体示例，帮助读者快速建立对大模型的完整认知框架。

ZJU_统一阿萨姆

【推理优化】推理的本质：prefill 与 decode 两阶段要理解大语言模型的推理优化，首先要回答一个看似简单的问题：模型到底是如何「写」出一段话的？答案藏在一个数学约束里——自回归（Autoregressive）。

江畔柳前堤

LLM 量化与剪枝完全指南：从比特级数学到生产级内核元信息定义：模型压缩（Model Compression）指在不显著损害模型能力的前提下，降低模型的存储占用、计算量或能耗的技术总称，核心手段包括量化、剪枝、知识蒸馏与架构改良。

还不秃顶的计科生

具身智能论文学习1：PaLM: Scaling Language Modeling with Pathways正式发表于 Journal of Machine Learning Research（JMLR），Volume 24，2023年，全文约113页。

DM今天肝到几点？

英伟达发布 Nemotron 3.5 Lightning：31.6B 参数的“闪电”开源模型，本地智能体的新引擎摘要：2026 年 8 月 11 日，NVIDIA 推出 Nemotron 3.5 Lightning——一款 300 亿（31.6B）参数的开放权重混合专家（MoE）模型。它只激活 3.6B 参数，却跑出了近 670 tokens/秒的推理速度，性能对标 gpt-oss-120b。本文整合英伟达官方博客、Artificial Analysis 等公开信息，带你一文看懂这款“为本地智能体而生”的模型。

GSPO：重新定义大语言模型的强化学习训练范式强化学习（RL）已成为拓展语言模型能力、增强其深度推理与问题求解能力的关键技术范式。通过大规模强化学习，语言模型能够发展出解决竞赛级数学和编程等复杂问题的能力。然而，要成功实现RL的规模化扩展，首要前提是维持稳定且鲁棒的训练过程。