transformer

数据同化与动态状态估计：让孪生持续贴合现实数据同化与动态状态估计：让孪生持续贴合现实一、数据同化的基本思想二、滤波方法三、噪声、滞后与缺失的应对四、状态不确定性的量化五、在线估计的工程实现#数字孪生 #人工智能 #大模型 #世界模型

一起学安全技术

拆大模型 03｜注意力的一句话版本：不用论文讲清 Attention第 01、02 篇连起来看，是这样一个过程：模型手上只有一块白板，这一轮要用的东西全写在上面；每生成一个字，它都要把白板上已经写下的内容重新过一遍，才猜得出下一个 token。

风巽·剑染春水

【Generative AI综述】生成式人工智能在医学影像中的应用（ACME-2026）📚文献精读｜生成式 AI 在医学影像中的综述：算法、模态、机遇与临床痛点论文：Generative AI for Medical Imaging: A Systematic Review of Models, Applications, and Clinical Challenges

机器学习之心

5 个特征、2 个输出：让 DBO 替 CNN-Transformer 挑结构，再用 SHAP 把黑箱撬开这套代码最初是为了回答一个很具体的问题。手上只有 200 组数据，5 个输入、2 个要同时预测的输出。CNN-Transformer 能拟合，但结构参数全得手调：卷积核取 3 还是 6，特征图 8 还是 64，池化窗口多大、步长多少，注意力头开几个。这几项互相咬着，改一个，另外几个的最优值就跟着变。

【TNT】《Transformer in Transformer》NeurIPS-2021code：Background传统视觉 Transformer（如 ViT）将图像划分成若干个较大的 Patch，并把每个 Patch 当作一个 Token，通过 Transformer 建模不同 Patch 之间的关系。

布吉岛的石头

Java 程序员第 50 阶段14：灾难性遗忘与回放在大模型工程落地里，这个话题绕不开。很多 Java 同学刚接触时容易只看结论、不究原理，一旦线上出问题就无从下手。先把「为什么重要」说清楚，后面才好理解它怎么用。

weixin_46846685

视觉Transformer的“第二次革命”：ViT³如何用测试时训练重构注意力范式视觉Transformer（ViT）自2020年问世以来，几乎重塑了整个计算机视觉领域。图像分类、目标检测、语义分割、图像生成——标准Transformer架构在每一个任务上都成为了主流选择。然而，随着图像分辨率越来越高、视频越来越长、多模态输入越来越复杂，一个结构性的成本问题正在变得不可回避。

Transformer拆解13：现代大模型改了什么，RoPE、RMSNorm、SwiGLU与GQA我是老计。走到这里，经典Transformer的主要零件已经拆完。可你打开现代大模型配置，会看到一批原论文里没有的名字：RoPE、RMSNorm、SwiGLU、MQA、GQA。

飞猫的边缘AI

边缘AI芯片的规则变了：从跑CNN到跑LLM和VLM如果你关注边缘AI芯片，最近有个明显变化：边缘设备跑的东西跟几年前不一样了，以前跑CNN（卷积神经网络），现在跑LLM（大语言模型）和VLM（视觉语言模型）。

Transformer拆解06：Self-Attention，一句话里的词怎样互相看见我是老计。前面三篇把Embedding、QKV和缩放点积公式分别拆开了。现在把它们装起来，回答注意力机制最核心的问题：同一条序列里的每个位置，怎样根据自己的需要，从其他位置取回信息？

transformer基础 RNN + LSTM单层感知机：只有一个神经元，它没有隐藏层，这里的就是神经网络中的sigmoid激活函数，如果没有激活函数那么与多元线性函数一摸一样。

全文 - LLaMA v2 - Llama 2: Open Foundation and Fine-Tuned Chat Models这篇论文介绍的是 Llama 2。它的核心并不是重新发明 Transformer，而是将 Llama 1 的 Decoder-only、Pre-RMSNorm、RoPE、SwiGLU 架构延续下来，主要把上下文从 2K 扩展到 4K，并在较大模型上引入 GQA。

明天会有多晴朗

从零手写 Transformer！一个 Python 文件跑通英译中（PyTorch 附完整源码）不调用 nn.Transformer，不使用 nn.MultiheadAttention，从零实现 Attention、Encoder、Decoder、训练和自回归生成。完整代码已开源，支持 Google Colab 在线运行，无需 GPU。

端侧大模型的应用场景与工程实践端侧大模型的应用场景与工程实践一、端侧大模型的独特价值二、典型应用场景三、端侧部署的工程约束四、性能优化实践五、体验设计与信任建立#大模型 #人工智能 #端侧大模型 #智能办公

Attention 演进路线：5 大阶段，11 篇奠基论文原文：https://mp.weixin.qq.com/s/UuKiNeQkoNa7RWm2Llgllw

BERT自然语言处理框架深度解析：从Transformer到双向预训练模型在BERT出现之前，NLP领域主要面临两大痛点：传统RNN的串行计算瓶颈与word2vec词向量的静态表示问题。

布吉岛的石头

Java 程序员第 50 阶段13：对齐税 alignment tax 是什么在大模型工程落地里，这个话题绕不开。很多 Java 同学刚接触时容易只看结论、不究原理，一旦线上出问题就无从下手。先把「为什么重要」说清楚，后面才好理解它怎么用。

深度学习Transformer详细介绍Transformer 是一种完全基于注意力机制（attention）构建的神经网络架构，由编码器和解码器两部分组成：编码器负责把输入序列的每个词元映射为融合全局上下文的表示，解码器则在此基础上逐步生成输出序列。它最核心的创新是用自注意力取代了 RNN 的循环结构，使序列中任意两个位置都能直接建立联系，从而既捕捉长距离依赖，又让整个计算可以高度并行，训练效率远超传统循环模型。凭借这一设计，Transformer 成为 GPT、BERT 等大模型的基础架构，也奠定了当今自然语言处理乃至多模态领域的主流范式。

《Attention Is All You Need》的 Encoder–Decoder Transformer 一次完整训练下面按 2017 年原始论文《Attention Is All You Need》的 Encoder–Decoder Transformer，整理一次完整训练过程。重点是：训练时使用 Teacher Forcing，并借助因果掩码并行计算所有目标位置，不像推理那样逐个生成 token。

Transformer拆解01：Transformer为什么出现，RNN到底卡在哪里我是老计。想真正理解 Transformer，最好的起点不是直接背 Q、K、V，而是先问一句：在它出现之前，序列模型到底哪里不够用了？