pytorch

有梦想的骇客

PyTorch学习笔记PyTorch基础介绍PyTorch基础是张量，包含torch.autograd、torch.nn、torch.optim等子模块；包含多种损失函数，包括 MSE（均方误差 = L2 范数）、交叉熵损失和负熵似然损失（对分类器有用）等。

HarmonyOS 7 新特性（四）｜沉浸光感：空间材质、性能分级与降级策略适用范围：HarmonyOS 7、API 26 Developer Beta。沉浸光感在不同系统版本、设备算力等级和窗口形态上的效果可能不同。本文把它当成一套“可分级的语义材质系统”，而不是固定滤镜参数。

【深度学习入门】Windows 下 PyTorch GPU 环境搭建深度学习的第一步，永远是把环境装好、把第一个 Demo 跑通。本文以 PyTorch 为例，从头讲解 Windows 下 CUDA 配套的 torch、torchvision、torchaudio 安装流程，涵盖驱动检查、CUDA Toolkit 安装、WHL 本地安装与在线安装方式，并附版本匹配要点和验证步骤，助您一次成功。

蓝悦无人机

端侧神经网络量化（二）：训练后量化（PTQ）训练后量化（Post-Training Quantization，PTQ）是一种无需重新训练的量化方法：拿到一个已训练好的 FP32 模型，借助少量无标签校准数据，在几分钟内将其转换为 INT8 推理模型。

磁场转动100万匹

PyTorch 手写数字识别实战：从数据加载到模型训练（零基础详解版）手写数字识别是深度学习入门最经典的实战项目之一，它基于 MNIST 数据集，目标是把 28×28 像素的灰度图片正确分类为 0 到 9 十个数字。本文结合一段完整的 PyTorch 代码，从数据加载、数据加载器、设备选择、神经网络构建、训练与测试等环节，系统讲解深度学习的基础概念，帮助读者理解模型是如何一步步学会识别数字的。

柳絮飞祭奠

03-Dify知识库搭建实战专利文档TXT+Excel本篇为系列第三篇，进入 RAG 核心——知识库。我们以专利文档为实战案例，先讲知识库必须集成的模型，再对比「Excel 直接导入」和「转 TXT 后导入」两种方式的实际效果差异。实战数据：《人工智能领域专利汇总_100条.xlsx》，100 条专利，9 个字段。

Attention机制从数学到工程：拆解缩放点积+多头注意力｜附可运行PyTorch实现与踩坑指南Attention是Transformer的核心，很多人能背出Softmax(QK^T/√d)·V公式，但说不清Q/K/V各自的物理意义、为什么必须除以√d、多头注意力为什么要拆分拼接、真实训练里容易踩哪些坑。本文从直觉入手，拆解缩放点积注意力的数学本质，逐行实现带维度注释的PyTorch单头/多头注意力代码；结合真实调参经验，整理长序列显存、头数冗余、mask写错等高频坑；补充MQA/GQA、KV Cache等工程端变体，适合深度学习入门、大模型推理开发人员。关键词：Attention机制；多头注意力

PyTorch多GPU分布式训练实战：从单卡脚本迁移到DDP当单卡无法容纳模型，或者大模型训练耗时过长时，开发者通常会考虑多 GPU。但“多插几张卡”并不等于训练速度自动翻倍。多卡之间需要同步梯度、交换数据，如果代码结构、通信或数据加载没有处理好，GPU数量增加后反而可能出现利用率下降。

CMA-Former：基于级联多头注意力 Transformer 的 DOA 波达方向估计（PyTorch 实现）本文环境：Python 3.9 + PyTorch 1.12 + CUDA 11.3 + Tesla V100（消费级 GPU 亦可运行，显存占用仅 1.6GB）

PyTorchTensor 是 PyTorch 中最基础的数据结构。模型的输入、输出、权重和梯度，最终都使用 Tensor 表示。

DAY41一、前言：深度学习可解释性痛点 CNN、深度学习模型在训练和推理过程中，前向、反向传播属于黑盒机制，我们无法直接查看中间层特征输出、梯度变化，无法判断模型关注图像哪些区域、为何做出当前预测。

一只积极向上的小咸鱼

pytorch 与资源核算主要参考Datawhale社区 # 第三章：pytorch 与资源核算在 1024 张 H100 显卡上，训练一个 70B（700亿参数）的模型，数据量是 15T（15万亿 tokens），大概要多久

小女孩真可爱

GPT(3)----------------GQA分组查询注意力机制提速为了减少模型的计算了，针对于大模型结构提出来多种设计思路，其中比较有名的有GQA, MLA, MHA,SWA等等，其中GPT用到的是GQA,所以本文主要讲这个，其他的可以自行了解。

沐神-动手学习深度学习-习题 4.3. 多层感知机的简洁实现####答案这一节介绍了如何使用深度学习框架（如 PyTorch）的高级 API 简洁地实现多层感知机（MLP）。相比上一节的“从零实现”，简洁实现将重点放在了模型架构的定义和训练流程的标准化上。

复现一个 Transformer Encoder：从论文公式到最小 PyTorch系列：开源 AI 论文复现实验与代码解读日期：2026-08-24 适合读者：研究生、科研新人、希望真正理解 Transformer 代码的工程读者检索日期：2026-08-24

小桥流水---人工智能

Windows下RTX 5070安装PyTorch GPU完整教程：Python 3.11 + PyTorch 2.8.0 + CUDA 12.9最近在一台搭载 NVIDIA GeForce RTX 5070 的 Windows 电脑上重新配置 PyTorch GPU 深度学习环境。

【微调】（案例）SpeedWolf 狼人杀策略分析模型安装过程已经在上一章描述过了，本章节不再赘述，按照以下方法执行即可：如果说显存不够，或者配置环境麻烦，推荐租赁 AutoDL 服务器，选择单卡 RTX 4090，镜像选择 hiyouga/LLaMA-Factory/LLaMA-Factory:v6 即可。

Nano-VLLM全代码解析笔记(6)-embed_head和linear一些问题：[系列(1) 开篇](https://blog.csdn.net/xxx/article/details/xxxxxx) [系列(2) 核心原理](https://blog.csdn.net/xxx/article/details/xxxxxx) 🔗上一篇：[系列(1)开篇](https://blog.csdn.net/xxx/article/details/xxxxxx) 🔗下一篇：[系列(3)实战演练](https://blog.csdn.net/xxx/article/details/

智慧校园13类视频异常检测：数据集与预训练模型全攻略在智慧校园、周界安防等场景中，视频异常检测（Video Anomaly Detection, VAD）是核心能力之一。不同于通用目标检测，安防场景往往需要对打架、跌倒、攀爬、入侵、烟火等十余类异常行为进行实时识别与告警。

DeepSeek Harness 使用 Ollama 本地部署的 AI 大模型（以Qwen3.8-27B为例）DeepSeek Harness 是 DeepSeek AI 推出的开源 Agent 框架，而 Ollama 是最流行的本地大模型运行工具。将两者结合，可以构建一套完全本地化、无需联网、数据不出电脑的 AI Agent 系统。