pytorch

一条大祥脚

深入理解 PyTorch FlexAttention：从 Score Mod 到 Mask Mod 的稀疏加速之道在 Transformer 的世界里，注意力机制几乎是所有模型的性能核心。但真实场景中的注意力往往不是"标准"的：有的需要因果掩码（causal mask），有的需要滑动窗口（sliding window），有的需要文档级隔离（document mask），还有的需要 ALiBi、相对位置偏置、甚至自定义的注意力偏置。

week4（下）transformer的论文是attention is all you need,出现比bert更早。 bert的架构其实就是transformer结构。每个模型都是随机初始化。有任务a，做语种分类，随机初始化一个模型。有任务b,做用户评论情感分类，收集数据，重新训练模型。任务c，判断两句话是否矛盾，准备大量训练模型，也是从头开始训练模型。每个都是从0开始，各训练各自的。有些事情是新的，但是中文是早就会的，相当于中文是基座。机器学习中便引入这份思想：能不能不谈具体任务，让他先熟悉语言。等要做

田里的水稻

FA_CNN卷积神经网络二十七---填充与步幅PyTorchFA：Formula and Algorithm，CNN：Convolution Netural Network

田里的水稻

FA_CNN卷积神经网络二十六---从全连接到卷积PyTorchFA：Formula and Algorithm，CNN：Convolution Netural Network

梦想不只是梦与想

PyTorch、CPU、GPU、CUDA给 Python 安装 PyTorch的时候，对于刚接触 AI 开发的人来说，里面的专业名词（Torch、CPU、GPU、CUDA、源）确实容易让人一头雾水。把这些名词拆开，结合一生活中的例子来理清它们的关系。

田里的水稻

FA_CNN卷积神经网络二十四---层\块\参数管理PyTorchFA：Formula and Algorithm，CNN：Convolution Netural Network

鸿蒙 HarmonyOS 7 应用内存优化：appMemoryOptimizer 释放 so 页缓存实战随着鸿蒙 HarmonyOS 7（API 26）正式版开启大规模推送，开发者也随之迎来了 API 26 的完整 SDK。HarmonyOS 7.0 Release 在 Ability Kit 中新增了一个非常实用的模块：@ohos.app.ability.appMemoryOptimizer，它提供"主动释放文件页缓存"的能力，让应用可以在退后台等时机把不再使用的 .so、.hap、.hsp 页缓存还给系统，缓解整机内存压力。本文介绍这个模块的原理、完整接入步骤和实战注意事项。

神经网络与深度学习笔记_Day1参考课程：【黑马程序员AI大模型《神经网络与深度学习》全套视频课程，涵盖Pytorch深度学习框架、BP神经网络、CNN图像分类算法及RNN文本生成算法】

PyTorch强化学习实战——从零开始实现魔方求解器我们已经探索了强化学习 (Reinforcement Learning, RL) 在离散优化(数学中研究离散结构优化问题的分支)领域的应用，并以著名的魔方谜题作为示范。在本节中，我们将详细介绍并复现 McAleer 等人在论文《Solving the Rubik’s cube without human knowledge》中提出的方法，同时探讨该方法的改进方向。

计算机毕业编程指导师

基于深度学习的花卉图像分类识别系统（PyTorch + ResNet50 + Django）⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！也可以在主页上或文末下与博主交流~~ ⚡⚡Java、Python、小程序、大数据实战项目集](https://blog.csdn.net/2301_80395604/category_12487856.html)

鸿蒙操作系统小艺 Skill 开发实战：让应用被 HarmonyOS 7 一句话召唤HarmonyOS 7 把系统交互从"用户打开 App → 手动操作"推进到"意图即服务"：用户只需说出想要的结果，系统级小艺理解意图后自动匹配应用的 Skill 并把服务递上来，全程无跳转。对开发者来说，这意味着应用多了一种被系统直接"召唤"的入口。本文以一个"断食倒计时查询"Skill 为例，完整走通 Skill 的声明、注册、入口脚本与调试全流程，并汇总五个真实联调踩坑点。

【从零手写GPT（一）】：RTX 5080 环境踩坑，我装错了两次 PyTorch系列说明：我是一名普本计科毕业生，做了 5 年 C++ 类 CAD 的 3D 开发。Python 只停留在“看得懂、没怎么写过”的阶段。AI 正在改变软件行业，我不想只做 API 调用者，于是决定用家里的 RTX 5080，从零手写一个 GPT。这是系列第一篇，不讲大道理，先记录环境踩坑。

明天会有多晴朗

从零手写 Transformer！一个 Python 文件跑通英译中（PyTorch 附完整源码）不调用 nn.Transformer，不使用 nn.MultiheadAttention，从零实现 Attention、Encoder、Decoder、训练和自回归生成。完整代码已开源，支持 Google Colab 在线运行，无需 GPU。

田里的水稻

FA_CNN卷积神经网络二十一---丢弃法PyTorch过拟合是深度学习中绕不开的问题：模型在训练集上表现优异，一到测试集就"翻车"。丢弃法（Dropout）是应对过拟合最经典、最常用的正则化手段之一。本文从原理出发，先手写 dropout_layer 理解其内部机制，再用 PyTorch 框架的 nn.Dropout 做简洁实现，并在 Fashion-MNIST 上对比训练效果。

听风吹等浪起

第26章：ViT+InceptionDW+FocalLoss改进｜CT骨折影像二分类完整Pytorch实现（含PyQt5推理GUI）摘要：CT是临床诊断骨折的核心影像学手段，隐匿性细微骨折依靠人工阅片容易发生漏检。本文基于Pytorch框架，对ViT((1‑pt)^\gamma)B/16模型进行改进，在Transformer编码层后加入自研InceptionDW多分支深度可分离卷积模块增强局部多尺度特征提取，同时引入Focal Loss损失函数解决难样本学习问题，完成CT骨折/正常骨骼二分类任务。数据集总量3700余张CT切片，类别标签0:fracture骨折，1:normal正常。本文从业务背景、数据集说明、改进网络原理、网络结构图

【Manskill3】TableSceneBuilder学习笔记TableSceneBuilder 是 ManiSkill 自带的 Python 类，继承自 SceneBuilder，可以这样导入：

PyTorch 报 “no CUDA GPUs are available“ 怎么办？3 步排查PyTorch 与 CUDA 版本对应关系以 PyTorch 官网安装选择器为准，不同版本会变。兴冲冲装好 PyTorch，跑一行 torch.cuda.is_available()，结果返回 False。显卡明明在那儿，为什么 PyTorch 就是认不到？这是每个新手第一次装 PyTorch 几乎都会踩的坑，三个原因按顺序查。

深度学习28:PyTorch:参数更新方法(AdaGrad和RMSProp)AdaGrad（Adaptive Gradient，自适应梯度）会为每个参数适当地调整学习率，并且随着学习的进行，梯度会逐渐减小。

Windows 下 YOLO11 Det 的 TensorRT C++ 部署Windows 下 YOLO11 Det 的 TensorRT C++ 部署摘要：本文介绍如何在 Windows 下使用 TensorRT 10.16 以 C++ 部署 YOLO11 目标检测模型。内容涵盖环境准备（VS2022、CMake、CUDA 12.9、OpenCV 4.8.1、TensorRT）、工程编译与验证、模型导出（FP32/FP16/INT8）与 engine 序列化，以及命令行推理和部署自训练模型的完整流程。实测 C++ 实现推理单帧约 1.4 ms，相比 ultralytics Py

田里的水稻

FA_CNN卷积神经网络十八---感知机到多层感知机PyTorch线性回归输出的是一个实数，而感知机输出的是一个离散的类别。正是这一差别，把我们从「拟合数值」带入了「分类决策」的世界。本文沿着「单层感知机 → XOR 问题 → 多层感知机 → 激活函数 → 代码实战」的脉络，把这条主线梳理清楚，并给出可直接运行的 PyTorch 实现。