Deep Learning复习笔记0

Key Concept:

  • Embedding: learned dense, continuous, low-dimensional representations of object 【将难以表示的对象(如图片,文本等)用连续的低维度的方式表示】

  • RNN: Recurrent Neural Network -> for processing sequential data (time series data, natural language text, audio signals, images, videos, images, ...)【用于处理序列数据】

  • CNN: Convolutional Neural Network -> for processing grid data【用于处理网格数据】Grid data means neighboring points related 相邻点之间相关的

  • Attention: summarize multiple inputs, often focusing on a small, dynamic subset of the inputs【每次关注一个小地方】

  • GNNs: Graph Neural Networks -> for processing graph data【用于处理图数据】

  • Deep Generative Models -> use deep neural networks to define generative model for complex data distributions (e.g., text, audio, image, graphs, ...)【使用深度神经网络定义复杂数据分布(如文本、音频、图像、图形等)的生成模型涉及利用各种类型的生成模型】

  • Deep Learning Frameworks: PyTorch, TensorFlow, ...

  • Gradient-based parameter estimation【基于梯度的参数估计】

    1. Programmers specify model (e.g., implement forward pass)【通过实现前向传递来设置模型】
    2. When used on training data, framework collects operations and their outputs to build computation graph【在训练数据上使用时,框架收集操作及其输出以构建计算图】
    3. Gradient computation performed automatically from this computation graph using backpropagation【从这个计算图中自动执行梯度计算(使用反向传播算法)】
    4. Optimizer uses gradient to update model【优化器使用梯度来更新模型参数】

    Challenge: large, complex models; limited training data

Deep Learning复习笔记内容大纲

  • Feedforward neural networks
  • Backpropagation and parameter optimization
  • Machine learning systems
  • Training techniques for deep learning models
  • Recurrent neural networks
  • Convolutional neural networks
  • Attention and Transformers
  • Deep learning for graphs
  • Deep generative modelling
相关推荐
读创商闻41 分钟前
极狐GitLab CEO 柳钢——极狐 GitLab 打造中国企业专属 AI 编程平台,引领编程新潮流
人工智能·gitlab
kailp41 分钟前
语言模型玩转3D生成:LLaMA-Mesh开源项目
人工智能·3d·ai·语言模型·llama·gpu算力
marteker42 分钟前
弗兰肯斯坦式的人工智能与GTM策略的崩溃
人工智能·搜索引擎
无心水44 分钟前
大语言模型零样本情感分析实战:无需机器学习训练,96%准确率实现指南
人工智能·机器学习·语言模型
来自于狂人44 分钟前
AI大模型训练的云原生实践:如何用Kubernetes指挥千卡集群?
人工智能·云原生·kubernetes
橡晟6 小时前
深度学习入门:让神经网络变得“深不可测“⚡(二)
人工智能·python·深度学习·机器学习·计算机视觉
墨尘游子6 小时前
神经网络的层与块
人工智能·python·深度学习·机器学习
Leah01056 小时前
什么是神经网络,常用的神经网络,如何训练一个神经网络
人工智能·深度学习·神经网络·ai
深圳卢先生7 小时前
CentOS 安装jenkins笔记
笔记·centos·jenkins
Leah01057 小时前
机器学习、深度学习、神经网络之间的关系
深度学习·神经网络·机器学习·ai