Deep Learning复习笔记0

Key Concept:

  • Embedding: learned dense, continuous, low-dimensional representations of object 【将难以表示的对象(如图片,文本等)用连续的低维度的方式表示】

  • RNN: Recurrent Neural Network -> for processing sequential data (time series data, natural language text, audio signals, images, videos, images, ...)【用于处理序列数据】

  • CNN: Convolutional Neural Network -> for processing grid data【用于处理网格数据】Grid data means neighboring points related 相邻点之间相关的

  • Attention: summarize multiple inputs, often focusing on a small, dynamic subset of the inputs【每次关注一个小地方】

  • GNNs: Graph Neural Networks -> for processing graph data【用于处理图数据】

  • Deep Generative Models -> use deep neural networks to define generative model for complex data distributions (e.g., text, audio, image, graphs, ...)【使用深度神经网络定义复杂数据分布(如文本、音频、图像、图形等)的生成模型涉及利用各种类型的生成模型】

  • Deep Learning Frameworks: PyTorch, TensorFlow, ...

  • Gradient-based parameter estimation【基于梯度的参数估计】

    1. Programmers specify model (e.g., implement forward pass)【通过实现前向传递来设置模型】
    2. When used on training data, framework collects operations and their outputs to build computation graph【在训练数据上使用时,框架收集操作及其输出以构建计算图】
    3. Gradient computation performed automatically from this computation graph using backpropagation【从这个计算图中自动执行梯度计算(使用反向传播算法)】
    4. Optimizer uses gradient to update model【优化器使用梯度来更新模型参数】

    Challenge: large, complex models; limited training data

Deep Learning复习笔记内容大纲

  • Feedforward neural networks
  • Backpropagation and parameter optimization
  • Machine learning systems
  • Training techniques for deep learning models
  • Recurrent neural networks
  • Convolutional neural networks
  • Attention and Transformers
  • Deep learning for graphs
  • Deep generative modelling
相关推荐
Komorebi.py4 分钟前
【Linux】-学习笔记05
linux·笔记·学习
不去幼儿园7 分钟前
【MARL】深入理解多智能体近端策略优化(MAPPO)算法与调参
人工智能·python·算法·机器学习·强化学习
亦枫Leonlew13 分钟前
微积分复习笔记 Calculus Volume 1 - 6.5 Physical Applications
笔记·数学·微积分
想成为高手49913 分钟前
生成式AI在教育技术中的应用:变革与创新
人工智能·aigc
YSGZJJ1 小时前
股指期货的套保策略如何精准选择和规避风险?
人工智能·区块链
无脑敲代码,bug漫天飞1 小时前
COR 损失函数
人工智能·机器学习
HPC_fac130520678162 小时前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
小陈phd5 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
冰帝海岸5 小时前
01-spring security认证笔记
java·笔记·spring
Guofu_Liao6 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama