Deep Learning复习笔记0

Key Concept:

  • Embedding: learned dense, continuous, low-dimensional representations of object 【将难以表示的对象(如图片,文本等)用连续的低维度的方式表示】

  • RNN: Recurrent Neural Network -> for processing sequential data (time series data, natural language text, audio signals, images, videos, images, ...)【用于处理序列数据】

  • CNN: Convolutional Neural Network -> for processing grid data【用于处理网格数据】Grid data means neighboring points related 相邻点之间相关的

  • Attention: summarize multiple inputs, often focusing on a small, dynamic subset of the inputs【每次关注一个小地方】

  • GNNs: Graph Neural Networks -> for processing graph data【用于处理图数据】

  • Deep Generative Models -> use deep neural networks to define generative model for complex data distributions (e.g., text, audio, image, graphs, ...)【使用深度神经网络定义复杂数据分布(如文本、音频、图像、图形等)的生成模型涉及利用各种类型的生成模型】

  • Deep Learning Frameworks: PyTorch, TensorFlow, ...

  • Gradient-based parameter estimation【基于梯度的参数估计】

    1. Programmers specify model (e.g., implement forward pass)【通过实现前向传递来设置模型】
    2. When used on training data, framework collects operations and their outputs to build computation graph【在训练数据上使用时,框架收集操作及其输出以构建计算图】
    3. Gradient computation performed automatically from this computation graph using backpropagation【从这个计算图中自动执行梯度计算(使用反向传播算法)】
    4. Optimizer uses gradient to update model【优化器使用梯度来更新模型参数】

    Challenge: large, complex models; limited training data

Deep Learning复习笔记内容大纲

  • Feedforward neural networks
  • Backpropagation and parameter optimization
  • Machine learning systems
  • Training techniques for deep learning models
  • Recurrent neural networks
  • Convolutional neural networks
  • Attention and Transformers
  • Deep learning for graphs
  • Deep generative modelling
相关推荐
chenchihwen2 小时前
AI代码开发宝库系列:Function Call
人工智能·python·1024程序员节·dashscope
FreeBuf_2 小时前
微软Copilot被用于窃取OAuth令牌,AI Agent成为攻击者帮凶
人工智能·microsoft·copilot
学slam的小范2 小时前
ROS跑ORB-SLAM3遇见的问题总结
人工智能·机器人·自动驾驶
coding消烦员2 小时前
新版 vscode 去除快捷键 Ctrl+I 显示 Copilot 的 AI 对话框
人工智能·vscode·copilot
周杰伦_Jay2 小时前
【自动驾驶开源仿真平台】Carla、AirSim、Udacity self-driving-car-sim、Apollo、Autoware。
人工智能·机器学习·自动驾驶
牛奶还是纯的好3 小时前
双目测距实战5-立体矫正
人工智能·3d
无风听海3 小时前
神经网络之窗口大小对词语义向量的影响
人工智能·深度学习·神经网络
sali-tec3 小时前
C# 基于halcon的视觉工作流-章52-生成标定板
开发语言·图像处理·人工智能·算法·计算机视觉
IT古董3 小时前
【第五章:计算机视觉-项目实战之推荐/广告系统】2.粗排算法-(4)粗排算法模型多目标算法(Multi Task Learning)及目标融合
人工智能·算法·1024程序员节
newxtc4 小时前
【江苏政务服务网-注册_登录安全分析报告】
人工智能·安全·yolo·政务·1024程序员节·安全爆破