transformer

深度学习之Transformer架构详解Transformer架构自2017年由谷歌研究团队在论文《Attention Is All You Need》中提出以来，彻底改变了自然语言处理（NLP）领域的发展轨迹，并逐步扩展到计算机视觉、语音识别等多个AI子领域。本文系统梳理了Transformer从RNN演进而来的技术背景，深入剖析了其核心组件——多头自注意力机制、位置编码、前馈神经网络、残差连接与层归一化——的工作原理与设计动机，详细对比了编码器与解码器的结构差异，并探讨了BERT、GPT、T5等基于Transformer的代表性模型变体。最

第九章《语言与理解》完整学习资料本资料为《智能重生：从垃圾堆到AI工程师》第九章的配套学习内容。阅读小说原文：第九章《语言与理解》专栏总目录：《智能重生》AI工程师成长小说专栏

昇腾CANN ops-transformer 仓的 FlashAttention 算子：昇腾NPU上的注意力加速实现大模型推理和训练里，Self-Attention 层的计算是最大的性能瓶颈。FlashAttention 把这块的计算从 O(n²) 的显存占用降到了 O(n)，靠的是分块计算——把整个注意力矩阵拆成小块，逐块在片上缓存里算完再写回 HBM。ops-transformer 仓是昇腾CANN 的 Transformer 类进阶算子库，里面就有一个昇腾NPU 原生的 FlashAttention 实现。这篇文章拆开看它怎么在昇腾达芬奇架构上做分块计算和在线 softmax，以及实际的性能表现。

ascend-transformer-boost：Transformer加速库架构原理剖析我第一次在昇腾NPU上跑Llama-2-7B推理时，用的是PyTorch原生实现，跑出来的吞吐是18 tokens/s，跟官方宣称的29 tokens/s差了快一倍。翻了一圈文档，发现昇腾CANN其实自带了一个Transformer加速库——ascend-transformer-boost（简称ATB）——专门给Transformer类模型做加速的。换上ATB之后，同样的硬件，吞吐直接飙到31 tokens/s，还比官方宣称的多了2 tokens/s。

[LLM初步] Transformer 架构综述画师：竹取工坊大佬们好！我是Mem0rin！现在正在准备自学转码。如果我的文章对你有帮助的话，欢迎关注我的主页Mem0rin，欢迎互三，一起进步！

解局易否结局

用 Profiler 追踪 ops-transformer 算子：GE 融合与 Runtime 调度的实战调试大模型训练跑不动，大多数人第一反应是"算力不够"。但我见过的实际情况里，80% 以上的性能问题出在算子调度和数据搬运上，不是算力本身。解决这个问题最有用的工具，就是 CANN 内置的 Profiler。

解局易否结局

理解 ops-transformer 在昇腾NPU架构中的位置：把大模型算子放进厨房里讲有个做后端的朋友问我：“我装了 CANN，跑了 PyTorch 模型，NPU 也认到了，但我不理解 ops-transformer 到底在哪一层——它是我的模型代码的一部分，还是 CANN 的一部分，还是昇腾硬件的一部分？”

深度分析字节最新研究cola-DLM第 01 章：语言生成的三次范式之争 —— 从 RNN 到 AR 到扩散论文：Continuous Latent Diffusion Language Model项目地址：ByteDance-Seed/Cola-DLM

西西弗Sisyphus

基于 Transformer 架构的翻译模型实践 - SentencePiece 分词的例子flyfish参考本文的完整代码在文末自定义分词规则，SentencePiece 会从文本（train.txt）中自动学习子词规律。

Transformer 核心模块详解：多头注意力、前馈网络与词嵌入Transformer 是现代大语言模型的基石，而多头注意力（MultiHeadAttention）、前馈网络（FFN）和词嵌入（Embedding）是其最核心的三个组件。本文从原理到代码，逐层拆解这三个模块，并提供 Python（PyTorch）和 C++（LibTorch）实现，附带完整的复杂度分析。

晚霞的不甘

CANN-ATB加速库：Transformer推理性能密码第一次在昇腾上跑大模型推理的朋友，往往会被这个结果砸懵：同样的模型，PyTorch 在 A100 上跑 2000 tokens/s，到昇腾上只有 800 tokens/s。这不科学啊，昇腾 910 的纸面算力比 A100 还高出一截。问题出在哪里？答案是：没用 ATB 加速库。

中国人工智能培训网—AI系列录播课中国人工智能培训网—AI系列录播课为助力技术从业者紧跟前沿、破解落地痛点，我们打造了涵盖十二大核心课程的研修班体系，覆盖AI、大数据、嵌入式、量子计算等领域，搭建理论到实践的学习桥梁。

解局易否结局

从零搭建 ops-transformer 开发环境：在昇腾NPU上跑通第一个算子之前帮一个团队在新到的 Atlas 训练服务器上搭建 CANN 开发环境，从装驱动到跑通 ops-transformer 里的 FlashAttention 算子，整条流程我完整走了一遍。把每一步操作记录下来，省得下次再踩同样的坑。

西西弗Sisyphus

基于 Transformer 架构的翻译模型实践 - SentencePiece 输出的 token ID 到 Transformer 可处理的词向量flyfish参考本文的完整代码在文末文本 → Token ID → 词嵌入 → 位置编码 → Transformer 编码器

【CS336】导言CS336: Language Modeling from Scratch 是目前 AI 圈非常硬核的一门课，核心目标就一句话：

【量化】Vision Transformer 的完全量化已经从简单的 CNN 方法移植，发展成为一个拥有丰富技术体系的独立研究方向：综述检索并综述了 10 篇核心文献，涵盖：1 FQ-ViT (CVPR 2022) PTQ PoT 因子 + 对数量化 Softmax，首次完全整数推理 2 Q-ViT (NeurIPS 2022) QAT 信息修复 + 分布蒸馏，超越全精度 +1% 3 Variation-aware (ICLR 2024) QAT 知识蒸馏 + 变异性正则，2-bit Swin-T 77.66% 4 PTQ4ViT (ICML 2022) PTQ 双均匀量化 + Hessian 度量 5 AIQViT (AAAI 2023

写给前端的 CANN-ops-transformer：昇腾Transformer进阶算子库到底是啥？之前有兄弟跑大模型，问我：“哥，我想用 FlashAttention，但 ATB 太重了，有没有轻量点的库？”

晚霞的不甘

CANN昇腾 MindSpore 适配深入解析：如何在 MindSpore 框架中充分发挥昇腾硬件性能的完整指南MindSpore 是华为自研的深度学习框架，本文深入解析如何在 MindSpore 中高效使用昇腾硬件，包括算子适配、性能优化和最佳实践。

机器学习之心

扩散模型 + Transformer 回归预测：用生成式AI增强小样本回归本文介绍一种将扩散模型（Diffusion Model）用于数据增强，再结合 Transformer 进行回归预测的完整技术方案。代码基于 MATLAB 实现，展示了从数据生成到模型训练、评估的全流程。