Deep Learning复习笔记0

Key Concept:

  • Embedding: learned dense, continuous, low-dimensional representations of object 【将难以表示的对象(如图片,文本等)用连续的低维度的方式表示】

  • RNN: Recurrent Neural Network -> for processing sequential data (time series data, natural language text, audio signals, images, videos, images, ...)【用于处理序列数据】

  • CNN: Convolutional Neural Network -> for processing grid data【用于处理网格数据】Grid data means neighboring points related 相邻点之间相关的

  • Attention: summarize multiple inputs, often focusing on a small, dynamic subset of the inputs【每次关注一个小地方】

  • GNNs: Graph Neural Networks -> for processing graph data【用于处理图数据】

  • Deep Generative Models -> use deep neural networks to define generative model for complex data distributions (e.g., text, audio, image, graphs, ...)【使用深度神经网络定义复杂数据分布(如文本、音频、图像、图形等)的生成模型涉及利用各种类型的生成模型】

  • Deep Learning Frameworks: PyTorch, TensorFlow, ...

  • Gradient-based parameter estimation【基于梯度的参数估计】

    1. Programmers specify model (e.g., implement forward pass)【通过实现前向传递来设置模型】
    2. When used on training data, framework collects operations and their outputs to build computation graph【在训练数据上使用时,框架收集操作及其输出以构建计算图】
    3. Gradient computation performed automatically from this computation graph using backpropagation【从这个计算图中自动执行梯度计算(使用反向传播算法)】
    4. Optimizer uses gradient to update model【优化器使用梯度来更新模型参数】

    Challenge: large, complex models; limited training data

Deep Learning复习笔记内容大纲

  • Feedforward neural networks
  • Backpropagation and parameter optimization
  • Machine learning systems
  • Training techniques for deep learning models
  • Recurrent neural networks
  • Convolutional neural networks
  • Attention and Transformers
  • Deep learning for graphs
  • Deep generative modelling
相关推荐
SEO_juper14 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号15 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha15 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云15 小时前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊15 小时前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint15 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨15 小时前
zotero扩容
人工智能·笔记
大数据张老师15 小时前
AI架构师的思维方式与架构设计原则
人工智能·架构师·ai架构·后端架构
Hello_Embed15 小时前
STM32HAL 快速入门(十九):UART 编程(二)—— 中断方式实现收发及局限分析
笔记·stm32·单片机·嵌入式硬件·学习
AKAMAI15 小时前
Entity Digital Sports 降低成本并快速扩展
人工智能·云计算