深度学习——基础知识

  深度学习的重点在于优化,其中很重要的步骤在于如何调参,会涉及到一些微积分等数学知识。不同于以往接触到的数值运算,深度(机器)学习都是关于张量Tensor(向量)的计算,Python中最常用的包就是Numpy,其次张量类支持调用包可自动微分。

一、基础操作运算

1.1 导入torch

  先导入torch,虽然是pytorch版本的深度学习,但是代码中使用torch,而不是pytorch.

1.2 arange创建行向量

1.3 通过张量的shape属性来访问张量的形状或维度

1.4 张量的大小

  张量中元素的总数,即shape属性中所有元素的乘积。

一维向量的shape和size是相同的数值

1.5 改变张量的形状reshape

  要想改变一个张量的形状而不改变元素数量和元素值,可以调用reshape函数。

在reshape时,不需要特别指定每个维度的参数,在知道元素总数的前提下,知道宽度(高度)后,高度(宽度)会被自动计算得出,不需要自己手动计算,可以通过-1来调用此自动计算出形状。

1.6 初始化矩阵

1.6.1 将张量中所有元素设置为0

1.6.2 将张量中所有元素设置为1

1.6.3 标准高斯分布:均值为0,标准差为1,随机初始化参数的值

1.6.4 自定义张量

  可以通过包含数值的python列表(嵌套列表)来为所需张量中的每个元素赋予确定值。

二、张量运算符

2.1 按元素计算

2.2 张量连接

dim=0对行进行拼接;dim=1对列进行拼接。

2.3 逻辑运算符

2.3 求和

三、广播机制

  形状相同的张量按元素操作,在某些情况下,即使形状不同,可以通过调用广播机制来执行按元素操作。

  广播机制在大多数情况下,沿着数组中长度为1的轴进行广播。

  a和b分别是31和1 2的矩阵,如果让它们相加,它们的形状不匹配,我们将两个矩阵广播为一个更大的3*2矩阵,矩阵a将复制列,矩阵b将复制行,然后按元素相加。
a + b = 0 0 1 1 2 2 + 0 1 0 1 0 1 = 0 1 1 2 2 3 a+b= \begin{bmatrix} 0 & 0 \\ 1 & 1 \\ 2 &2 \end{bmatrix}+\begin{bmatrix} 0 & 1 \\ 0 & 1 \\ 0 & 1 \end{bmatrix} = \begin{bmatrix} 0 & 1 \\ 1 & 2 \\ 2 & 3 \end{bmatrix} a+b= 012012 + 000111 = 012123

四、转换为其他Python对象

  torch张量和numpy数组可以互相转化.

  要将大小为1的张量转换为python标量,可以用item函数或者python的内置函数。

相关推荐
她的男孩4 分钟前
AI 写完 100 万行代码没人 Review,我做了一件事:把 AI 写的代码管起来了
java·人工智能·程序员
差不多的周周7 分钟前
《MoChat:面向多转弯动作理解和描述的关节分组时空接地多通道大语言模型》论文核心部分详解
人工智能·深度学习·机器学习·计算机视觉·语言模型·自然语言处理
jimmyleeee8 分钟前
大模型安全之七:LLM系统提示词泄露
人工智能·安全
RobinDevNotes8 分钟前
为什么AI训练工程师都要懂NCCL
人工智能
! 冰封雪莲 !10 分钟前
站房“智慧大脑” | Smart ET2000 污染源自动监控数智终端
大数据·人工智能·万维盈创·ai环境大数据
葡萄城技术团队16 分钟前
不会写 SUMIFS 也能做汇总?用 SpreadJS AI 生成并解释 Excel 公式
人工智能·excel
武子康16 分钟前
同一份长文问两次,SGLang 怎样少算一遍
人工智能·llm·agent
用户52746756142117 分钟前
为什么 retry() 不是 Agent 的恢复策略
人工智能
蜘蛛小助理19 分钟前
AI 自动推导业务自动化规则实战教程|多维表格低代码自动化落地
大数据·人工智能·低代码·自动化·多维表格·蜘蛛表格
瀛川20 分钟前
Agent 换了 Pod,身份怎么办?拆解 Substrate 的 Actor Identity
人工智能·云原生