transformer

程序喵大人

【AI专栏】图解Transformer - 第05章：LLM 推理工程博主介绍：程序喵大人前四章把模型本身拆完了——token 怎么变向量、attention 怎么算、Block 怎么堆、生成循环怎么转。

视图集合化+轻量Transformer：VSFormer开启多视图3D形状理解新范式标题：VSFormer: Mining Correlations in Flexible View Set for Multi-view 3D Shape Understanding 会议：IEEE Transactions on Visualization and Computer Graphics (TVCG2024, CCF A 类顶刊) 单位：中国人民大学信息学院计算机系代码：https://github.com/auniquesun/VSFormer 论文：https://arxiv.org/

程序喵大人

【AI专栏】图解Transformer - 第04章：LLM生成博主介绍：程序喵大人前三章已经把 Transformer 里最重要的内部动作讲完了：token 变成向量，向量带上位置，self-attention 读取上下文，multi-head 从多个角度看，FFN 继续加工，Residual 和 Norm 让很多层 Block 可以稳定堆起来。

FlashOcc(67 封私信 / 80 条消息) 轻量级占用网络要来了！FlashOcc：主打实时性，高精度快速高效内存 - 知乎

EnergyLM: Training Transformer Language Models at EquilibriumAuthors: EnergyLM experimental report Code: energy_lm/ (PyTorch, single GPU, RTX 4090 D) Environment: Python 3.12, PyTorch 2.12 + CUDA

小白学大数据

无库无捷径，PyTorch 手写完整 Transformer 大语言模型 LLM调用 **<font style="color:rgb(0, 206, 185);background-color:rgb(252, 252, 252);">from transformers import AutoModel</font>** 只要一行代码，但真正理解 Transformer 的人少之又少。多数开发者对 Attention 的认知停留在"Q、K、V 三个矩阵"的口号层面——面试时背得出公式，动手时写不出一个完整的 Block。

基于改进交叉熵损失函数与Transformer的心电信号高风险分类研究在心血管疾病早期筛查过程中，能够有效检测出心电信号中高风险部分对于防止患者发生心跳骤停有重大作用，在此背景下，我们利用PhysioNet带有高风险标签的心电图小片段数据集(ECG Fragment Database with High-Risk Labels, v1.0.0)进行研究，提出了一种基于随机森林特征选择以及 Transformer 分类器的心电图高风险分类算法同时提出一种新的交叉熵损失函数ECGLoss。此损失函数包括焦点损失以及置信度惩罚两部分：焦点损失通过对权重放大难以区分样本梯度影响，置

大模型时代存储市场复盘 2024-2026：AI 训推爆发下的存储需求变革2024 年之前，云上"存储"三个字，在多数架构评审会上是垫底的话题。价格年年降、可用性年年升、容量随手扩，工程师最多在冷热分层上抠一抠账单。2024 年生成式 AI 爆发之后，这套惯性彻底崩了。

人工智能学习笔记-Transformer那些复杂的矩阵公式！为了彻底记住且不再忘记，今天不聊数学，讲一个“超级翻译官小T”的故事。只要记住这个故事，Transformer的底层逻辑就永远刻在脑子里了。

机器学习与模式识别第十七章 Transformers & LLMs 考点压缩综合来源：Lecture 17 PDF（35页）、课堂笔记（CSDN）占位图P(next token∣context tokens)P(\text{next token} | \text{context tokens})P(next token∣context tokens)

天一生水water

注意力机制与transformer 的关系与区别一句话理解：注意力机制是 Transformer 的核心部件，Transformer 是把注意力机制系统化、工程化后形成的一种神经网络架构。

西西弗Sisyphus

计算机视觉领域选择卷积神经网络还是选择 Vision Transformerflyfish如果接触过计算机视觉，一定听过一个经典结论：卷积神经网络（CNN）是为图像而生的。同样是神经网络，同样是反向传播训练，为什么全连接网络处理图像始终效率低下？为什么在数据量有限的场景下CNN很管用？

Decoupled and Reusable Adaptation for Efficient Cross-Modal Transfer跨模态迁移方法在将基于 RGB 的基础模型扩展到非 RGB 模态方面取得了显著进展。然而，现有的迁移范式主要是面向任务的，这意味着一旦任务发生变化，就需要重新训练并重新存储模型，从而在数据、计算和存储方面造成大量冗余。为了解决这一局限性，我们提出了一种高效的跨模态迁移范式，将整个过程解耦为一次性的通用模态知识迁移和灵活的任务知识迁移两个阶段。

大模型Model Architecture模型架构：从Transformer到MoE，架构决定AI上限模型架构（Model Architecture）是大模型的底层骨架，决定了模型的信息处理逻辑、输入输出方式，直接影响模型能力、推理效率、可扩展性与落地成本。本文结合完整架构知识图谱，从基础定义、演进路线、核心架构、超参、主流选型、性能影响、落地价值全维度拆解，完整梳理现代大模型架构体系，帮开发者看透大模型底层原理，做好选型、调优与二次开发。

机器学习与模式识别第十六章 Transformers 考点压缩综合来源：Lecture 16 PDF（68页）、课堂笔记（CSDN）占位图需要一种能高效建模所有token之间关系的架构 → Attention机制

机器学习与模式识别第十六章 Transformers 模拟卷及答案总分：100分 | 建议用时：60分钟范围：Attention机制、QKV、多头注意力、Transformer层、位置编码

Transformer（一）：为什么是需要Transformer？Transformer 不是凭空出现的。它是在 N-gram、RNN、LSTM、GRU 等序列建模方法遇到瓶颈之后，被提出的一种新架构。本文不急着讲公式，而是先回答一个更基础的问题：为什么深度学习已经有了 RNN 和 LSTM，还需要 Transformer？

金融小师妹

人工智能推演框架：非农降温信号如何重构黄金定价模型摘要：本文通过人工智能宏观因子分析模型、多变量数据关联算法与市场情绪识别框架，结合美国6月非农就业报告、利率预期变化及黄金市场表现，对就业数据如何影响货币政策预期、美元走势及黄金价格进行系统分析，并探讨当前市场定价逻辑的新变化。

程序喵大人

【AI专栏】图解Transformer - 第01章：建立直觉博主介绍：程序喵大人这一章咱们先建立一个全局的视角。当一条prompt被发送给LLM时，文字会先被切成 token，token 会变成编号，编号会查出向量，向量带着位置信息进入 Transformer，然后在 self-attention 里吸收上下文。

E2E自驾JD理解轨迹预测就是根据目标（行人，车辆，运动障碍物）过去几秒的运动状态和当前的地图信息，预测出他们未来几秒（通常是 3~8 秒）最有可能的行驶路径（轨迹）。