pytorch

33.Transformer架构

【自然语言处理】预训练06：子词嵌入【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大算力的发展而发展出来的。深度学习最重要的技术特征是具有自动提取特征的能力。神经网络算法、算力和数据是开展深度学习的三要素。深度学习在计算机视觉、自然语言处理、多模态数据分析、科学探索等领域都取得了很多成果。本专栏介绍基于PyTorch的深度学习算法实现

PyTorch实战（10）——从零开始实现GPT模型GPT-2 (Generative Pretrained Transformer 2) 是由 OpenAI 开发的大语言模型 (Large Language Model, LLM)。它标志着自然语言处理 (Large Language Model, NLP) 领域的一个重要里程碑，并为更复杂的模型的发展奠定了基础。GPT-2 是对 GPT-1 的改进，旨在根据给定的提示生成连贯且具有上下文相关性的文本，展示了在多个风格和主题中模仿人类生成文本的卓越能力。 GPT-2 基于 Transformer 架构。然

能来帮帮蒟蒻吗

深度学习（4）—— Pytorch快速上手！从零搭建神经网络PyTorch 是一个开源的深度学习框架，主要用于构建和训练机器学习（尤其是深度学习）模型，由 Meta（原 Facebook）的人工智能研究实验室（FAIR）开发并维护。它以灵活性、易用性和强大的功能被广泛应用于学术研究和工业界。其核心特点如下图所示：

第N5周：Pytorch文本分类入门程序完整解释这是一个文本分类程序，使用PyTorch框架对AG_NEWS新闻数据集进行分类。AG_NEWS数据集包含4个类别的新闻文章：

PyTorch-混合精度训练（amp）在我第一次使用AMP（auto Mixed Precision，amp）时，我观察到训练速度显著提升，同时解决了在mit-states数据集上的显存不足问题。AMP的核心目标就是实现这两点：

Pytorch性能调优简单总结本文为我最近一段时间以来对pytorch一些底层原理的使用和认识，着重在"这技术怎样提高我们的训练效率"，有以下几个方向

Python 第三方库：PyTorch（动态计算图的深度学习框架）PyTorch 是由 Facebook AI Research（FAIR）团队于 2016 年开源的深度学习框架。

pytorch-张量转换

重生归来，我要成功 Python 高手--day35 深度学习 PytorchPyTorch：基于python语言的深度学习框架，将数据封装为张量下载包：pip istall 报名 -i 镜像

月下倩影时

视觉进阶篇—— PyTorch 安装Pytorch和TensorFlow是现在深度学习比较主流的框架，近些年来百度飞浆paddlepaddle框架在OCR识别上有着不错的成果。对于初学者来说，pytorch可以使用几行代码进行训练观察较为友好，并且现在大多模型使用的框架都为pytorch.因此学习安装使用pytorch是非常有必要的。 PyTorch 作为深度学习领域的“顶流框架”，其安装方式灵活多样。本文将针对 Ubuntu 系统，详细讲解 CPU 版与 GPU 版 PyTorch 的安装方法，对比 Conda 与 Pip 两种工具的差异

深度学习实战（基于pytroch）系列（五）线性回归的pytorch实现实践中，我们通常可以用比上一节深度学习实战（基于pytroch）系列（四）更简洁的代码来实现同样的模型。在本节中，我们将介绍如何使用pytorch提供的接口更方便地实现线性回归的训练。

算法与编程之美

探究pytorch中多个卷积层和全连接层的输出方法1 问题问题1: 多个卷积层连续输出方法问题2: 多个卷积层加上多个全连接层的输出方法。2 方法问题1: 多个卷积层连续输出方法

钅日勿 XiName

一小时速通Pytorch之自动梯度(Autograd)和计算图(Computational Graph)（二）❗此教材仅适用运行在CPU上的张量❗❗即使把张量搬运到GPU上也不适用❗首先从torchvision加载预训练模型resent18模型，然后创建了一个随机张量来表示一张具有3个通道、高度和宽度为64的图像，并将其相应的标签初始化为一些随机值。

pytorch核心组件以及流程PyTorch 是一个基于Python的科学计算包，其设计哲学根植于“Python优先” (Python-first) 的理念 1。这一选择造就了其标志性的“命令式体验” (imperative experiences)，允许代码逐行执行，如同标准的Python脚本 1。这种设计为研究人员和开发者提供了“最大限度的灵活性” 1，极大地简化了调试过程 2。

【GitHub每日速递 20251111】PyTorch：GPU加速、动态网络，深度学习平台的不二之选！原文: https://mp.weixin.qq.com/s/a3gqAuKAJguAlC7gfZCE_g

【笔记】xFormers版本与PyTorch、CUDA对应关系及正确安装方法详解xFormers作为Meta开发的高效Transformer优化库，在AI艺术创作和深度学习领域得到了广泛应用。然而，由于其对PyTorch和CUDA版本的严格要求，很多用户在安装过程中遇到了问题，特别是在已经安装了PyTorch-CUDA版本的虚拟环境中，直接使用pip install xformers往往会导致PyTorch被重新安装，最终变成CPU-only版本。本文将详细分析xFormers与PyTorch、CUDA的版本对应关系，并总结正确的安装方法。

为你写首诗ge

【python】python安装使用pytorch库环境配置打开命令行工具，输入 nvidia-smi 命令。如果显示了GPU信息，说明驱动已安装。在输出信息中，留意 CUDA Version 这一项，它表示你的驱动最高支持的CUDA版本。例如，显示"CUDA Version: 12.6"意味着你后续安装的PyTorch所依赖的CUDA工具包版本不能高于12.6。

30.注意力汇聚：Nadaraya-Watson 核回归

wa的一声哭了

hf中transformers库中generate的greedy_searchgreedy_search的返回值和GenerationMixin的generate的返回值是一样的，因为实际上generate函数是通过调用greedy_search来生成内容的。可以看到如果参数return_dict_in_generate为False，那么返回的内容应该就是一个生成的input_ids的tuple，如果为True，那么会将scores、hidden_states、attentions封装成一个字典类返回。