transformer

Transformer：现代自然语言处理的革命性架构Transformer模型彻底改变了自然语言处理领域，它摒弃了传统的循环神经网络(RNN)结构，完全基于自注意力机制构建。这种架构在机器翻译、文本生成等任务中表现出色，成为当今NLP模型的基石。

大模型学习入门——Day4: Encoder-Decoder笔记参考教程——DataWhale快乐学习LLM Seq2Seq，即序列到序列，是一种经典 NLP 任务。具体而言，是指模型输入的是一个自然语言序列 x 1 , x 2 , x 3 , . . . x_1, x_2, x_3,... x1,x2,x3,...，然后输出一个序列（长度可能不等）。事实上，Seq2Seq 是 NLP 最经典的任务，几乎所有的 NLP 任务都可以视为 Seq2Seq 任务。但这一看似直观的任务背后，隐藏着怎样的技术实现？为什么 Encoder-Decoder 结构会成为 Seq2

Efficient Non-Local Transformer Block: 图像处理中的高效非局部注意力机制随着深度学习的发展，Transformer 模型已经在自然语言处理和计算机视觉领域取得了巨大成功。然而，传统的自注意力机制计算复杂度较高，不利于实时图像处理任务的部署和应用。为此，研究者们提出了各种改进方法，其中一种高效的解决方案是引入非局部注意力（Non-Local Attention）机制。本文将详细介绍基于高效非局部注意力的 Transformer Block （ENLTB）的设计与实现，并通过代码示例展示其具体应用。

CS创新实验室

研读论文《Attention Is All You Need》（17）7 ConclusionIn this work, we presented the Transformer, the first sequence transduction model based entirely on attention, replacing the recurrent layers most commonly used in encoder-decoder architectures with multi-headed self-attention.

Transformer实战——Hugging Face环境配置与应用详解我们已经了解了使用深度学习 (Deep Learning, DL) 方法的自然语言处理 (Natural Language Processing, NLP) 技术演进，学习了关于 Transformer 及其架构的一些基本信息。在本节中，我们将深入探讨 Transformer 模型的应用，详细介绍分词器 (tokenizer) 和模型，例如双向编码器表示 (Bidirectional Encoder Representations from Transformer, BERT)，并通过实践介绍如何加载分词

我不是小upper

讲透 RNN 到 Transformer ！！！哈喽，我是我不是小upper~在深度学习领域，序列数据处理一直是重要的研究方向，从语音识别到自然语言处理，从时间序列分析到机器翻译，数据都以序列的形式存在。今天咱们就来聊聊从 RNN 到 Transformer 的演变历程，一起探究为什么 “Attention Is All You Need”？

(下)通用智能体与机器人Transformer：Gato和RT-1技术解析及与LLM Transformer的异同接上篇《(上)通用智能体与机器人Transformer：Gato和RT-1技术解析及与LLM Transformer的异同》

Transformer 核心概念转化为夏日生活类比以下是把 Transformer 核心概念转化为「夏日生活类比」，不用看代码也能秒懂，搭配冰镇西瓜式记忆法：

【论文解读】OmegaPRM：MCTS驱动的自动化过程监督，赋能LLM数学推理新高度1st authorpaper: [2406.06592] Improve Mathematical Reasoning in Language Models by Automated Process Supervision

大模型 LoRA 微调：高效训练的秘密武器目录1. 引言2. 环境准备3. 加载模型和分词器4. LoRA 算法简介5. 配置 LoRA 参数参数解释

【论文解读】rStar：用互洽方法增强 SLM(小型语言模型) 推理能力1st author: Zhenting Qipaper: [2408.06195v1] Mutual Reasoning Makes Smaller LLMs Stronger Problem-Solvers

勤奋的知更鸟

深度学习神经网络架构Transformer深刻理解你可能听说过 Transformer，听说它是 ChatGPT 的核心结构，或者它是深度学习的一个神级发明，甚至是“自然语言处理的变革性里程碑”，各大教育机构和电子书也有深刻的见解，但当你去百度、知乎、B站一搜，全是一些看不懂的专业术语，比如“多头注意力”、“位置编码”、“层归一化”、“残差连接”…… 那Transformer 到底是个啥？它到底在干嘛？今天我们来彻底讲清楚 Transformer，到底是什么，怎么来的，怎么用，为什么它这么强。一句话理解 Transformer：

神经网络学习-神经网络简介【Transformer、pytorch、Attention介绍与区别】本笔记总结了神经网络基础理论、常见模型结构、优化方法以及 PyTorch 实践，适用于初学者和进阶者查阅学习。

Transformer、RNN (循环神经网络) 和 CNN (卷积神经网络)的区别我们来详细对比一下 Transformer、RNN (循环神经网络) 和 CNN (卷积神经网络) 这三种在深度学习中极其重要的架构，并通过具体例子说明它们的区别。

机器学习之心

Transformer-GRU、Transformer、CNN-GRU、GRU、CNN五模型时序预测对比Transformer-GRU、Transformer、CNN-GRU、GRU、CNN五模型单变量时间序列预测对比 (Matlab2023b)

Ai尚研修-贾莲

最新Transformer模型及深度学习前沿技术应用近年来，随着卷积神经网络（CNN）等深度学习技术的飞速发展，人工智能迎来了第三次发展浪潮，AI技术在各行各业中的应用日益广泛。为了帮助学员深入了解人工智能领域近3-5年内的最新理论与技术，Ai尚研修特别推出全新的《Transformer模型及深度学习前沿技术应用高级培训班》。本课程将带您全面掌握AI前沿技术、新理论及其Python代码实现，助您走在人工智能的技术前沿。课程内容采用“理论讲解 + 案例实战 + 动手实操 + 讨论互动”的多元教学方式，层层剖析，深入浅出地讲解以下核心技术：

从零开始学习人工智能

LHM深度技术解析：基于多模态Transformer的单图秒级可动画3D人体重建模型在计算机视觉领域，3D人体重建始终是核心研究方向之一。早期方法如基于立体视觉的多视图几何重建，虽能获取高精度几何，但依赖复杂设备且无法处理动态场景。随着深度学习兴起，基于单图像的重建技术成为焦点，如隐函数模型（PIFU、PIFuHD）通过像素对齐实现细节建模，但仅能生成静态模型，缺乏动画能力。参数化模型（SMPL、SMPL-X）虽支持骨骼驱动动画，但受限于模板形状，难以捕捉衣物褶皱、面部表情等个性化特征。

Web 毕设篇-适合小白、初级入门练手的 Spring Boot Web 毕业设计项目：智驿AI系统（前后端源码 + 数据库 sql 脚本）🔥博客主页：【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍文章目录AI系统具有许多优势1.0 项目介绍

机器学习的可解释性可解释机器学习（Explainable Machine Learning, XAI）是人工智能领域的一个重要分支，旨在让机器学习模型的决策过程对人类更透明、更易理解。就像你想知道朋友为什么推荐某部电影，XAI 帮助我们理解模型为何做出特定预测（例如，为什么一张图片被分类为“猫”）。这份笔记基于提供的 PDF 文件（[xai_v4.pdf]）以及在线资源，总结了 XAI 的核心概念、方法、挑战和最新进展，旨在帮助基础一般的学生从初步了解深入掌握这一领域。

【论文解读】Search-R1：通过 RL 让 LLM 学会使用搜索引擎1st author: Bowen Jin | Ph.D. Student @ UIUCpaper: [2503.09516] Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning