语言模型

阿萨德528号

Kimi K3：全球首个开源 3T 级大模型，技术解读与手记声明：本文为个人技术学习笔记，内容基于月之暗面官方2026年7月14日公开的技术博客整理，非商业推广。

Alignment Science 与可控生成：偏好学习、宪法式训练和可验证对齐系列：AI 论文盘点 / 技术趋势日期：2026-07-16 适合读者：机器学习、NLP、AI safety、强化学习、评测与模型治理方向研究生；关注大模型后训练和可靠性的工程读者检索日期：2026-07-16

CL-SEC: Cross-Layer Semantic Error Correction Empowered byLanguage Models实现可靠通信长期以来一直是网络系统面临的一项根本挑战。语义纠错（Semantic Error Correction，SEC）利用语言模型（Language Model，LM）的语义理解能力，在应用层执行错误纠正，以补充传统信道译码。现有 SEC 方法虽然前景可观，却只依赖 LM 在应用层捕获的上下文，忽略了物理层可提供的丰富信息。为克服这一局限，本文提出跨层语义纠错（Cross-Layer Semantic Error Correction，CL-SEC）：一种由 LM 赋能的纠错框架，融合物理层与应用层

初步认识-大模型-基础认知核心主线：理清 LLM → Token → Context → Prompt → Tool → MCP → Agent → Agent Skill 整套技术层级，区分各组件职责，构建完整 AI 智能体知识框架

具身智能论文伴读-第一期2026年07月17日09:29:52 实际上，在AI时代，我错误评价了这种伴读的作用，这个专栏远没有达到。但是加上自己本身也想好好再读读论文，所以当做自己阅读的随摘了，贡献不大，各位道友批评取之。

llamafactory 大语言模型llm 微调，关键参数深度讲解（法律大模型微调专属版）环境：ROCm AMD GPU + LlamaFactory LoRA微调 Qwen2-5120（48层大模型），断点续训 checkpoint-2500，单卡训练。训练任务：法律领域监督微调（法律问答/法条解析/文书生成）

国产开源 MoE 三强横评：Qwen3 235B / Kimi K2 / DeepSeek V3.1 深度技术解读点点词元技术专栏 · 第 36 篇2025 年是国产开源 MoE 的"分野年"。Qwen3-235B-A22B、Kimi K2、DeepSeek V3.1 三款旗舰在半年内先后落地，把国产开源阵营从"跟着 Llama 抄"抬到了"自己定义架构"的位置。但更值得玩味的是——三家在同一个 MoE 大方向下，选了三条完全不同的技术路线。

般若-波罗蜜

MinerU高级用法，避坑指南（持续更新）如图，pdf文本（可复制），经过mineru解析后，数字相关的部分都丢失了。问题定位： MinerU支持PDF、图片和DOCX三大主流文档格式的输入。对于PDF文档，工具能够自动处理扫描件和乱码PDF并启用OCR功能。从官方给出的代码可以看出，mineru默认采用”auto“来进行解析，内部自动根据文本格式等因素选择采用OCR、text的方式来解析文本。这里的text是使用了python解析库来解析pdf的（如：pymulf），（猜测，数字地方可能包含了其它格式，如latex），传统的python库解

QN1幻化引擎

DalinX V8 — 整体能力地图与 AGI 阶段评估报告日期: 2026-07-15 基准版本: 6e1eecc (HEAD) 诚实边界: 意识理论驱动认知架构, 作者QN1幻化引擎贾大林石家庄。现象意识=研究中/未证明; ASI=架构目标非当前事实。绝不宣称已造有意识 ASI。

大语言模型上下文缓存命中率测试全场景清单以下是我们系统梳理过的大语言模型上下文缓存命中率测试全场景清单，按测试目的分为六大类，每个场景包含目的、方法与预期行为。

LangChain从模型调用到应用编排大语言模型很擅长生成文本，但把它真正嵌入应用时，问题会迅速变得复杂：提示词如何统一管理？模型供应商如何灵活切换？非结构化回答怎样交给程序继续处理？如何获取实时信息、调用数据库或执行计算？当一次请求经过多个环节后，又该怎样定位性能和结果问题？

AI安全实战系列（四）：Lab04 Multi-Agent——多智能体攻击分析本文是针对多智能体（Multi-Agent）系统安全研究的实战指南。通过剖析 Lab04 靶场，文章不仅揭示了从基础接口泄露到高阶业务逻辑攻击的完整路径，更展示了在 AI 智能体协同环境下，权限控制与隐私保护的重要性。适合所有关注 AI 应用安全、渗透测试及 LLM 业务逻辑漏洞的研究者阅读。

蓦然回首却已人去楼空

Build a Large Language Model (From Scratch) 第三章编码注意力机制本章内容到目前为止，你已经知道如何将文本分割成单词和子词，并将这些词元编码成向量表示（嵌入），从而为大语言模型提供输入数据。

个人用的桌面级开源智能体有哪些？OpenOcta 八爪鱼上手与对比Gartner 预测：到 2026 年底，将有 40% 的企业应用集成「任务专用 AI 智能体（task-specific AI agents）」，而 2025 年这一比例还不到 5%。智能体正在从 Demo 走向日常工具——对个人用户而言，更具体的问题是：有没有能装在自己电脑上、双击可用、数据留在本机的桌面级开源智能体？

LLM for Code Research：程序合成、自动调试与软件工程评测系列：AI 论文盘点 / 技术趋势日期：2026-07-12 适合读者：研究生、程序语言与软件工程研究者、LLM 评测研究者、有工程背景的技术读者检索日期：2026-07-12

【LLM技术全景】混合精度与分布式训练：训练大模型的工程奥秘摘要训练一个 175B 参数的 GPT-3，若用 FP32 单卡（按第14篇 KV Cache 的显存估算方法类比），仅模型参数就需要约 700GB 显存，而单张 A100 仅 80GB。更现实地看：

企业级AI化转型基础认知（2）：大语言模型、RAG、Agent与微调核心概念一次厘清上一篇我们聊了企业级AI化转型的顶层逻辑，这一篇我们来拆解企业级AI化转型四个绕不开的技术概念。在和企业技术负责人交流时，我经常听到这样的困惑：“RAG和微调到底有什么区别？”“Agent是不是就是加了工具调用的大模型？”“我们到底该先上哪个？”

Qwen3全解析：通义千问第三代开源大模型，重新平衡推理能力与落地成本从Qwen1.5到Qwen2，再到如今的Qwen3，阿里云通义实验室完成了国产开源大模型的一次跨越式迭代。作为面向开发者、企业私有化部署、云端API场景的全系列通用大模型，Qwen3凭借混合专家MoE架构、原生双模式动态思考、119种语言覆盖、全尺寸开源商用免费四大核心亮点，成为目前国内落地最广泛、生态最完善的LLM底座之一。

零基础认识大语言模型（LLM）工作原理(5.Transformer的FFN模块到底是什么?)在上一章中，我们已经知道,Attention 的作用是：让模型能够在生成每个 Token 时，回看并加权所有历史信息。

[论文学习]PrivacyLens:评估语言模型在行动中的隐私规范意识随着语言模型（LM）被广泛应用于个性化通信场景（如撰写邮件、社交媒体发帖）并被赋予一定程度的自主代理能力，确保其行为符合语境隐私规范变得至关重要。然而，由于隐私敏感案例具有语境依赖性和长尾分布特征，且缺乏能够捕捉真实应用场景的评估方法，量化LM的隐私规范意识及其新兴隐私风险面临巨大挑战。