transformer

机器学习之心

GAT-TCN-Transformer 回归模型 + SHAP 可解释性分析：空间、局部与全局的时空建模利器海量表格数据里，往往同时藏着空间上的邻里关系和随时间演化的复杂模式。比如气象站网的温度预测、交通路网的流量估计、金融多资产的联动回归……单纯用 CNN 捕捉空间、用 RNN 捕捉时间，已很难满足高精度与可解释性的双重要求。今天我们就来拆解一套GAT‑TCN‑Transformer 融合回归模型，并搭配 SHAP 可解释性分析，让模型既能精准捕捉多尺度时空特征，又能打开黑箱，把特征的贡献讲得明明白白。

这张生成的图像能检测吗

（论文速读）Shift：通过减少概念漂移解决时间序列预测泛化问题论文题目：TACKLING TIME-SERIES FORECASTING GENERALIZATION VIA MITIGATING CONCEPT DRIFT（通过减少概念漂移解决时间序列预测泛化问题）

【DDIM 论文阅读】：扩散模型加速采样的里程碑！10~50 倍快采 + 确定性生成DDPM 效果强、训练稳，但采样慢到离谱：DDIM 站出来说：不用重训、不用改网络，同一份 DDPM 权重，直接 10~50 倍加速采样，还能做到确定性生成、 latent 插值！

罗西的思考

【GUI-Agent】阿里通义MAI-UI 代码阅读（1）— 总体MAI-UI是阿里通义实验室发布的一项重磅研究成果：是一个旨在重塑人机交互方式的“基础图形用户界面（GUI）智能体”，和阶跃星辰的思路非常类似，因此我们可以互相印证。

练习时长两年半的程序员小胡

Java程序员转大模型应用开发专题（一）：核心基础概念大家好，今天我们正式开启「Java程序员转大模型应用开发」系列专题。作为转型的开篇，我们先攻克最基础、最核心的认知关——大模型的核心基础概念。对于长期深耕Java后端的开发者而言，大模型应用开发并非完全陌生的领域，但要快速上手，首先要打破固有的技术认知，理解大模型的底层逻辑与核心范式，这也是后续所有技术学习、场景落地的根基。

python零基础入门小白

Transformer、Token、RAG全解析，一篇读懂大模型核心机制！本文以通俗易懂的方式，梳理了AI领域的关键术语，包括LLM、Transformer、Token、Embedding等，并深入探讨了它们的内在联系和应用场景。文章从模型构建、训练过程、应用方法等多个角度，全面解析了大模型的核心机制，帮助读者建立起对AI技术的整体认知框架。同时，文章还介绍了RAG、Agent等前沿技术，以及推理、部署和多模态等工程化问题，为读者提供了实用的技术指导。

AI项目管理实战：从开发到交付的全流程管控AI项目管理实战：从开发到交付的全流程管控一、启动阶段：先对齐“什么是成功” 二、开发阶段：用小闭环控制不确定性三、集成与测试阶段：别把模型当黑盒丢过去四、部署与上线阶段：灰度放量，留好回滚绳五、交付与迭代阶段：模型不是一次性产品

transformer系列：#3 深度解析多头注意力原文：https://mp.weixin.qq.com/s/Cg-BR4oSAvvoZsvQGTfmCQ

Transformer 和 LLM 到底是什么关系？现在大家聊大模型，总容易把两个词弄混：Transformer 和 LLM。有人觉得，Transformer 不就是大模型嘛。

【RT-DETR论文阅读】：首个实时端到端Transformer检测器，DETR正式超越YOLO长久以来，实时检测领域一直是YOLO家族的天下，但它们都绕不开一个“拖油瓶”——NMS。 NMS不仅拖慢速度，还严重影响精度稳定性。

MATLAB代码顾问

Transformer时序预测：PatchTST原理与PyTorch实现式 mer/PatchTST原理详解与Python实现时间序列预测是数据科学中最经典也最具挑战性的问题之一——从天气预报、股票价格到电力负荷预测，几乎每个行业都离不开它。

拆解 MusicGen：Meta 开源音乐大模型，到底是怎么跑起来的？跑完 model.generate() 那段代码，听到 AI 根据"80s synth pop with bassy drums and synth"生成的音乐时，我第一反应是：这东西底层到底是什么逻辑？花了一天时间扒源码，把整个流程清楚了。

生物信息与育种

黄三文院士领衔植物星球计划（PLANeT）发表Cell陆地植物约有45万个物种，构成了陆地生态系统的根基，也支撑着人类文明。从不足0.1Gb到超过160Gb的基因组大小，从以单倍体配子体为主到以二倍体孢子体为主的生活史，从根、叶、花、果等复杂器官的诞生到退化或高度特化，陆地植物展现出了惊人的形态、核型、生态和生理多样性。然而，这些多样性的基因组基础，至今大部分仍是未知的。

码农的神经元

从论文复现到模型升级：Transformer-Attention-WOA-XGBoost 在含新能源配电网故障诊断中的实现目录正文一、项目背景与任务定义二、论文基线方法拆解1. 小波分析为什么适合电流故障信号2. 为什么要做归一化

Transformer的核心思想——Attention机制直观理解在上一篇中，我们理解了Embedding如何把文字变成向量。但光有向量还不够——大模型需要"读懂"一句话里各个词之间的关系。比如：

码农的神经元

拆解 SDGT 算法：图神经网络 + Transformer 如何做短期电力负荷预测本文基于我当前完成的 sdgt_reproduction 项目整理，重点记录一次从数据生成、预处理、动态时空图构建、多尺度 Transformer 训练，到预测结果可视化分析的完整 SDGT 复现过程。项目使用 PyTorch 实现，当前主线数据集为 Australian 风格半小时级电力负荷数据，最终在测试集上得到 MAE=67.92、RMSE=84.45、MAPE=2.50%、R2=0.865、Accuracy=97.50%。

【Mask2Former论文阅读】：基于掩码注意力的通用分割Transformer，大一统全景/实例/语义分割在计算机视觉里，图像分割长期被三大任务割据：过去的模型各玩各的： FCN 系主打语义，Mask R-CNN 系主打实例，全景模型又要重新设计。

西西弗Sisyphus

从零实现Transformer：第 4 部分 - 残差连接、层归一化与前馈网络（Add & Norm, Feed-Forward）flyfish本部分的完整代码在文末主要用于和其他的图做参考还有两个组件要实现多头注意力机制（Multi-Head Attention）已经实现了还有Add & Norm和 Feed-forward networ，这里的norm是Layer normalization.

深度学习的数学原理（三十三）—— Transformer编码器完整实现在本专栏的第25-32篇文章中，我们已经完成了Transformer编码器所有核心基础组件的数学拆解与代码实现：