【pytorch11】高阶操作

高阶操作

  • Where
  • Gather

where

三个参数,第一个是condition,第二个参数是源头A,第三个参数是源头B,也就是说有两项数据A和B,C有可能来自于A也有可能来自于B,如果全部来自于A的话直接赋值给A,如果部分来自A的话可以例如C[0]=A[0],C[1]=B[1],如果C[0,0,1]=A[0,0,1],C[0,0,2]=B[0,0,2],C[0,0,3]=A[0,0,3]说明C的来源是比较乱的,没有一个特别好的规律,把这个乱的规则写在condition表里,condition的shape与A和B是一样的


为什么需要这个操作?

没有一个很好规则来帮助你赋值,简单的复制方法是不可行的,使用Python的逻辑控制比如for,比如用双重for循环加条件语句C[i,j]=A[i,j],但是存在一个问题,这段代码是运行在CPU上的就没有GPU的加速功能,因此要完成这样一个简单的分别采样或者分别取值的过程,照python代码的情况是用CPU控制的没有并行,生成一个condition,赋值语句就可以高度并行化

例如有一个场景,有一张表存储的是动物的名字[dog,cat,whale],但是pytoch是没有string类型的这里只是示意,通过神经网络得到相对编号的索引比如说第一个动物得到的索引是1那就意味着是cat,第二个动物对应的索引是0那就是对应的dog,第三个动物对应的索引是1,第四个动物得到的索引是2,即[1,0,1,2],表一共有3个种类,但是我们要查4次操作,所以查表的操作会生成[cat,dog,cat,whale]所以生成的shape和你提供要查找的shape是一样的,这个查表的操作是一个收集的操作,根据1收集索引为1的cat以此类推,因此这就是gather设计的初衷,gather([dog,cat,whale],dim=0,[1,0,1,2]),通过这三个参数就可以很好的生成查表的操作,pytorch矩阵运算没有这种操作可以完成这个功能,因此gather设计为了GPU的方式实现这个功能


相关推荐
爱打代码的小林17 小时前
用 PyTorch 实现 CBOW 模型
人工智能·pytorch·python
查无此人byebye18 小时前
深度解析:当前AI视频生成为何普遍“短小精悍”?
人工智能·pytorch·python·深度学习·音视频·transformer
林深现海19 小时前
【刘二大人】PyTorch深度学习实践笔记 —— 第一集:深度学习全景概述(凝练版)
pytorch·笔记·深度学习
zhangfeng113320 小时前
大语言模型llm 量化模型 跑在 边缘设备小显存显卡 GGUF GGML PyTorch (.pth, .bin, SafeTensors)
人工智能·pytorch·深度学习·语言模型
纤纡.20 小时前
深度学习环境搭建:CUDA+PyTorch+TorchVision+Torchaudio 一站式安装教程
人工智能·pytorch·深度学习
我材不敲代码21 小时前
深度学习的准备工作:CUDA安装配置、pytorch库、torchvision库、torchaudio库安装
人工智能·pytorch·深度学习
Network_Engineer21 小时前
从零手写Transformer:基于每一步shape变化拆解与PyTorch实现
人工智能·pytorch·深度学习·transformer
爱喝可乐的老王1 天前
PyTorch深度学习参数初始化和正则化
人工智能·pytorch·深度学习
林深现海1 天前
【刘二大人】PyTorch深度学习实践笔记 —— 第一集:深度学习全景概述(超详细版)
pytorch·笔记·深度学习
阿狸OKay1 天前
einops 库和 PyTorch 的 einsum 的语法
人工智能·pytorch·python