语言模型

蓦然回首却已人去楼空

Build a Large Language Model (From Scratch) 第三章编码注意力机制本章内容到目前为止，你已经知道如何将文本分割成单词和子词，并将这些词元编码成向量表示（嵌入），从而为大语言模型提供输入数据。

个人用的桌面级开源智能体有哪些？OpenOcta 八爪鱼上手与对比Gartner 预测：到 2026 年底，将有 40% 的企业应用集成「任务专用 AI 智能体（task-specific AI agents）」，而 2025 年这一比例还不到 5%。智能体正在从 Demo 走向日常工具——对个人用户而言，更具体的问题是：有没有能装在自己电脑上、双击可用、数据留在本机的桌面级开源智能体？

LLM for Code Research：程序合成、自动调试与软件工程评测系列：AI 论文盘点 / 技术趋势日期：2026-07-12 适合读者：研究生、程序语言与软件工程研究者、LLM 评测研究者、有工程背景的技术读者检索日期：2026-07-12

【LLM技术全景】混合精度与分布式训练：训练大模型的工程奥秘摘要训练一个 175B 参数的 GPT-3，若用 FP32 单卡（按第14篇 KV Cache 的显存估算方法类比），仅模型参数就需要约 700GB 显存，而单张 A100 仅 80GB。更现实地看：

企业级AI化转型基础认知（2）：大语言模型、RAG、Agent与微调核心概念一次厘清上一篇我们聊了企业级AI化转型的顶层逻辑，这一篇我们来拆解企业级AI化转型四个绕不开的技术概念。在和企业技术负责人交流时，我经常听到这样的困惑：“RAG和微调到底有什么区别？”“Agent是不是就是加了工具调用的大模型？”“我们到底该先上哪个？”

Qwen3全解析：通义千问第三代开源大模型，重新平衡推理能力与落地成本从Qwen1.5到Qwen2，再到如今的Qwen3，阿里云通义实验室完成了国产开源大模型的一次跨越式迭代。作为面向开发者、企业私有化部署、云端API场景的全系列通用大模型，Qwen3凭借混合专家MoE架构、原生双模式动态思考、119种语言覆盖、全尺寸开源商用免费四大核心亮点，成为目前国内落地最广泛、生态最完善的LLM底座之一。

零基础认识大语言模型（LLM）工作原理(5.Transformer的FFN模块到底是什么?)在上一章中，我们已经知道,Attention 的作用是：让模型能够在生成每个 Token 时，回看并加权所有历史信息。

[论文学习]PrivacyLens:评估语言模型在行动中的隐私规范意识随着语言模型（LM）被广泛应用于个性化通信场景（如撰写邮件、社交媒体发帖）并被赋予一定程度的自主代理能力，确保其行为符合语境隐私规范变得至关重要。然而，由于隐私敏感案例具有语境依赖性和长尾分布特征，且缺乏能够捕捉真实应用场景的评估方法，量化LM的隐私规范意识及其新兴隐私风险面临巨大挑战。

零基础认识大语言模型（LLM）工作原理(2.Token 到底是什么？)第一次接触大模型时，很多人都会产生一个疑问：ChatGPT 为什么能够读懂中文、英文、日文，甚至还能写代码？

[论文学习]揭示大语言模型智能体记忆模块中的隐私风险揭示LLM智能体记忆模块中的隐私风险：黑盒场景下的MEXTRA攻击本文是ACL 2025的Long Paper，由Bo Wang、Weiyi He等学者完成。论文系统性地揭示了LLM智能体（LLM Agent）记忆模块在黑盒设定下面临的严重隐私泄露风险，并提出了一种名为MEXTRA（Memory EXTRaction Attack）的记忆提取攻击方法。研究表明，即使攻击者无法访问模型内部参数，仅通过与智能体的交互，也能从记忆模块中有效提取用户的历史私密交互信息。

GLM-4-9B-Chat-1M 模型在 openEuler 系统上的完整部署文档🧑 博主简介：CSDN博客专家，「历代文学网」（PC端可以访问：https://lidaiwenxue.com/#/?__c=1000）总架构师，首席架构师，也是联合创始人！16年工作经验，精通Java编程，高并发设计，分布式系统架构设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于分享所学，希望通过我的实践经历和见解，启发他人的创新思维。在这里，我希望能与志同道合的朋友交流探讨，

OMNIDRIVE：一种由LLM协同的多智体世界模型，采用统一潜协压缩技术，用于多视角驾驶视频生成26年6月来自北大、厦门大学、韩国KAIST、台大、武汉大学、武汉理工、清华和福建厦门集美大学的论文“OMNIDRIVE: An LLM-choreographed Multi-agent World Model With Unified Latent Co-compression For Multi-view Driving Video Generation”。

World Engine：迈向自动驾驶的后训练时代26年6月来自港大、华为、上海创新研究院、源策未来（Archon Robotics)公司、KE:SAI德法研究所、Nvidia、南阳理工、valeo.ai、清华和图宾根大学的论文“World Engine: Towards the Era of Post-Training for Autonomous Driving”。

23个测试全绿，一个Token没花——LLM应用的单元测试该怎么写？你写了个AI应用，功能跑通了，效果不错。然后你想加个单元测试——assertEquals("Java是编程语言", model.chat("Java是什么"))——跑了一次，过了。再跑一次，挂了。再跑一次，又过了。

执笔论英雄

【；Agent】SWEET-RL：在协同推理任务上训练多轮大语言模型智能体https://arxiv.org/pdf/2503.15478以下是为您提供的全文逐字翻译。翻译力求忠实原文、学术规范且通顺易懂。

跟大模型对话，如何让提示词控制力更强？从随缘输出到精准可控完整指南绝大多数人使用大模型都会遇到相同痛点：同样的需求，两次回复风格、结构、重点完全不一样；模型随意发散、编造无关内容；想要固定JSON/层级大纲，结果附带一堆解释文字；复杂任务逻辑跳步、遗漏关键步骤；局部指令直接被模型忽略。

小李飞刀李寻欢

DeepSeek最新研究进展：从MoE架构到多模态突破DeepSeek 作为中国人工智能领域最具影响力的研究团队之一，近两年来在大型语言模型和多模态模型方面持续发力，以开源、高效、低成本路线赢得了全球开发者的广泛关注。从 DeepSeek-V2 的 MoE（混合专家）架构创新，到 DeepSeek-V3 的大规模预训练突破，再到 DeepSeek-R1 的推理能力跃升，以及 DeepSeek-Coder 系列在代码智能领域的深耕，DeepSeek 正在以惊人的速度缩小与国际顶尖模型的差距。本文将系统梳理 DeepSeek 的最新研究进展，帮助读者全面了解这支

敲代码的猴先生

论文分享 | TensorAbuse：通过滥用TensorFlow API将AI模型转化为恶意软件大模型除了其内在的安全问题值得关注，用户在运行模型时也会存在安全风险。分享一篇发表于 2025 年 IEEE S&P 会议的论文 TensorAbuse，该研究利用 TensorFlow API 的隐藏能力构建了强大且隐蔽的攻击。

[论文学习]大语言模型安全综述：攻击、防御、对齐、度量与护栏的深度解析论文系统性地综述了大语言模型（LLM）端到端的安全与防护流程，将整个系统划分为攻击、防御、安全对齐、度量指标与护栏机制五大核心组件。论文的核心贡献在于提供了一个统一的分析框架，将以往分散研究的各个安全环节有机整合，揭示了各组件之间的相互依赖与级联失效机制，为构建可信赖的LLM部署体系提供了系统化的理论指导。

[论文学习]隐私保护大语言模型推理实践:技术、权衡与可部署性比较研究随着大语言模型（LLM）日益被部署为云服务，用户提示词和生成结果的机密性问题已成为实际应用中的核心关切。本文对基于Transformer的LLM隐私保护推理方案进行了系统性比较调查，以支持实际部署中的操作性选择为明确目标，刻画了当前隐私保护LLM推理的实践图景，并提出了一条从可信执行环境（TEE）到全同态加密（FHE）的信任最小化部署演进路径。