语言模型

老郑聊AI业财智造

Qwen技术架构与源码深度剖析一句话概括：Qwen的技术演进不是参数规模的简单堆砌，而是一场从“稠密通用”到“稀疏专家协作”的系统工程革命——Qwen3.8-Max以2.4万亿总参数、仅950亿激活参数的MoE架构，用接近百亿级模型的推理成本撬动了万亿级模型的知识容量，在第三方盲测中综合能力仅次于Claude；Qwen3.6-35B-A3B则以35亿总参数、仅3亿激活参数的极致稀疏设计，让MoE大模型首次真正进入消费级硬件的射程——两者共同回答了同一个问题：如何用最小的推理成本获得最强的模型能力？****

从视频字幕到知识图谱：基于大语言模型的自动思维导图生成工具调研技术关键词：自动语音识别（ASR）、大语言模型（LLM）、结构化输出、知识图谱构建、提示词工程我平时会通过B站、YouTube、极客时间等平台观看技术教程和行业分享。一个常见的情况是：花四十分钟看完一场架构演进的技术分享，当时觉得内容很清晰，但两天后想回顾其中的某个设计决策时，往往需要重新拖动进度条寻找——效率不太理想。

[论文学习]δ-STEAL:基于本地差分隐私的大语言模型窃取攻击本文提出了一种名为δ-STEAL的大语言模型（LLM）窃取攻击方法，通过在对窃取模型进行微调时向token嵌入注入满足本地差分隐私（LDP）保证的噪声，从而在绕过服务商水印检测器的同时保持攻击者模型的实用性。实验表明，该方法在轻量级修改下可实现高达96.95%的攻击成功率，对当前基于水印的LLM知识产权保护方案构成严重威胁。

AppenTalk | GPT-Red：AI 自动攻防，能替代人类红队吗？当 AI 系统开始自主浏览网页、读取邮件、调用工具，攻击面也在同步扩大。将恶意指令隐藏在网页、文件或工具中的提示注入（Prompt Injection）已成为大模型安全面临的最棘手挑战之一。

ZJU_统一阿萨姆

【算子开发】全局内存访问与合并访存假设一段 CUDA 内核代码中，某个 warp 的 32 个线程各自对全局内存发起了一次 4 字节的读取。你可能会直觉地认为，硬件需要执行 32 次独立的内存访问。但事实远非如此——GPU 的内存子系统会在硬件层面合并这些请求，而理解这一机制的关键，在于「内存事务」（memory transaction）这一概念。

老郑聊AI业财智造

DeepSeek技术架构与源码分析一句话概括：DeepSeek 的工程化精髓在于“以轻驭重”——R1-0528-Qwen3-8B 用 80 亿参数实现了 2350 亿参数模型的数学推理水平；V4-Flash 以 2840 亿总参数、仅 130 亿激活参数的 MoE 架构，在 Agent 能力上反超了自家三个月前的 Pro 预览版——两者共同回答了同一个问题：在算力受限的约束下，如何用最小的推理成本获得最强的模型能力？****

如此这般英俊

手搓Claude Code-第十三章 background_tasks上一章我们完成了整个任务分发系统，但你有没有发现，无论agent分化了多少个任务，其实都是由一个agent串行执行的。

PyTorch强化学习实战——用预训练语言模型和ChatGPT玩转文本游戏文本互动小说 (interactive fiction) 是强化学习研究中一个独特而富有挑战性的领域。与图形丰富的街机游戏不同，这类游戏通过纯文本描述呈现状态，要求智能体理解自然语言、进行长期规划并在复杂的语义空间中决策。我们已经以微软 TextWorld 为实验平台，学习了如何使用自然语言处理 (Natural Language Processing, NLP) 工具处理复杂的文本数据，并在交互式小说游戏环境中进行实验，在本节中，我们将借助 Hugging Face 预训练 Transformer 和

＜七＞从3秒记忆到过目不忘——语言模型的三代进化上篇https://www.cnblogs.com/webor2006/p/22389647学了语言模型是什么——就是对"下一个词出现的概率"进行数学建模。但这事说起来简单，做起来一点都不简单。怎么建这个模？计算机怎么"记住"前面说过的话？

ZJU_统一阿萨姆

【推理优化进阶】通信关键路径：NCCL、RDMA 与计算通信重叠注：建议在开始学习本专栏前先完成对推理优化工程师快速入门指南专栏中所有内容的学习。在上一节中，我们已经建立了消息延迟的微观构成——从软件栈到网络传输的每一层开销。现在，我们把这些开销抽象成两个参数，构建一个能够定量推导集合通信成本的核心模型。这个模型的价值在于：当你在 profile 中看到一个 AllReduce 耗时 2.3ms，你能立刻判断出它是由什么支配的，以及是否存在优化空间。

学习中.........

Karpathy nanoGPT 教程到底讲了什么CS336的教程功课难度较高，曲线救过，通过 karpathy 的 nanogpt 项目，深入理解大模型的底层原理，模型的网络架构以及一些训练的工程细节，培养一定的代码能力，才能更好的完成CS336的学习。

Tokenization（分词算法）：一切大语言模型的地基在深入 Prompt Engineering、RAG、微调等高级话题之前，有一项最基础但至关重要的技术常常被忽视——Tokenization（分词算法）。它是所有大语言模型（LLM）处理文本的第一道工序，决定了模型如何看待文字，并深刻影响着推理成本、上下文长度、模型效果以及后续所有环节的设计。

什么是大语言模型大语言模型(Large Language Model，LLM)是指基于大规模神经网络，通过自监督或半监督方式，对海量文本进行训练、能理解和生成人类语言的语言模型**。

零基础在windows环境下的WSL使用llamafactory（二）微调模型 (Fine-tuned Model / Instruct Model)在预训练基础上进一步适配下游任务（如医疗问答、代码生成等）

问答大模型技术方案算法实现-熵权法融合算法 + 交叉编码器重排算法算法核心特点熵权法权重计算：动态计算向量检索和关键词检索的权重，避免固定权重的主观性交叉编码器重排：使用预训练的交叉编码器模型进行精排，提高相关性判断准确性

阿维的博客日记

什么是unigram语言模型Unigram 语言模型（一元文法模型）是自然语言处理（NLP）中最简单、最基础的统计语言模型（N-gramN\text{-gram}N-gram 模型中 N=1N=1N=1 的特例）。

ZJU_统一阿萨姆

【推理优化进阶】调度器的数学内核：排队论、SLO 与在线决策注：建议在开始学习本专栏前先完成对推理优化工程师快速入门指南专栏中所有内容的学习。经典排队论的服务台假设是：顾客到达后立即被服务，服务时间彼此独立且与系统状态无关。LLM Serving 的场景——请求按序列生成 token，一个 batch 中的多个请求共享 GPU 计算资源，输出长度在到达时完全未知——恰好系统性破坏这三个假设。因此，这节的任务不是照搬教科书公式，而是建立一套可推导、可测量、能预测拐点的近似模型，让后续的 admission、batching、preemption 决策有统一的数学

ZJU_统一阿萨姆

【推理优化进阶】图编译与运行时：动态形状、CUDA Graph 与内存规划注：建议在开始学习本专栏前先完成对推理优化工程师快速入门指南专栏中所有内容的学习。当你在 PyTorch 中写下 model(x) 时，Dynamo——PyTorch 的编译框架——拦截到的并不是一套算子调用的流水账，而是一个可以程序化重组的计算图。理解这条从捕获到生成的路径，关键不在于记住每一步的 API 名称，而在于看清每一层 IR 究竟在优化什么——以及它为此舍弃了什么。

从串行到树搜索：LATS 如何用蒙特卡洛树搜索重构 LLM Agent 决策框架大型语言模型（LLM）驱动的智能体（Agent）近年来取得了显著进展，其中 ReAct 范式（Reasoning + Acting）因其简洁有效的"思考-行动-观察"循环成为主流。然而，ReAct 本质上是串行决策链：每一步都严格依赖前一步的输出，一旦早期出现错误（如选错参数、误解指令），整个轨迹便无法挽回，导致任务失败。

Parcae: Scaling Laws For Stable Looped Language Models——用于稳定循环语言模型的扩展定律论文由加州大学圣迭戈分校和Together AI的研究者共同完成，聚焦于如何稳定地训练循环（Looped）架构的大语言模型，并将其发展为一种独立于模型参数和数据量的、可预测的扩展计算规模的新维度。核心贡献是提出了新型循环架构 Parcae，通过动态系统理论和工程化改进，解决了该类模型长期存在的训练不稳定问题，并首次系统性地推导了其在训练和推理阶段的扩展定律。