【自学笔记】深度学习基础知识点总览-持续更新

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 深度学习重点知识点总览
    • 一、基础概念
      • [1. 神经网络基础](#1. 神经网络基础)
      • [2. 损失函数与优化](#2. 损失函数与优化)
      • [3. 数据预处理](#3. 数据预处理)
    • 二、深度学习模型
      • [1. 卷积神经网络(CNN)](#1. 卷积神经网络(CNN))
      • [2. 循环神经网络(RNN)](#2. 循环神经网络(RNN))
      • [3. 注意力机制](#3. 注意力机制)
    • 三、高级主题
      • [1. 生成对抗网络(GAN)](#1. 生成对抗网络(GAN))
      • [2. 强化学习](#2. 强化学习)
      • [3. 自动微分](#3. 自动微分)
    • 四、实践技巧
      • [1. 过拟合与欠拟合](#1. 过拟合与欠拟合)
      • [2. 超参数调优](#2. 超参数调优)
      • [3. 模型部署](#3. 模型部署)
  • 总结

深度学习重点知识点总览

一、基础概念

1. 神经网络基础

  • 神经元:基本计算单元,接收输入、加权求和、激活。
  • 多层感知机(MLP):最简单的神经网络结构,包含输入层、隐藏层和输出层。
  • 激活函数:ReLU、Sigmoid、Tanh等,引入非线性。

2. 损失函数与优化

  • 损失函数:衡量模型预测与真实标签之间差异的函数,如MSE、交叉熵。
  • 优化算法:梯度下降、随机梯度下降(SGD)、Adam等。
  • 反向传播:计算损失函数对参数的梯度,用于更新参数。

3. 数据预处理

  • 归一化/标准化:调整数据尺度,加速收敛。
  • 数据增强:增加数据多样性,防止过拟合。
  • 批次处理:将大数据集分割为小批次,提高训练效率。

二、深度学习模型

1. 卷积神经网络(CNN)

  • 卷积层:提取局部特征。
  • 池化层:降维,减少计算量,增强鲁棒性。
  • 全连接层:整合特征,进行分类或回归。

2. 循环神经网络(RNN)

  • 基本RNN:处理序列数据,但存在梯度消失/爆炸问题。
  • LSTM/GRU:长短期记忆网络/门控循环单元,解决梯度问题。
  • 双向RNN:结合正向和反向信息,提高性能。

3. 注意力机制

  • 自注意力:Transformer核心,计算序列中元素间的相关性。
  • 多头注意力:并行计算多个自注意力,捕捉不同特征。
  • 位置编码:为序列数据添加位置信息。

三、高级主题

1. 生成对抗网络(GAN)

  • 生成器:生成假数据,试图欺骗判别器。
  • 判别器:区分真假数据,提高识别能力。
  • 训练策略:交替优化生成器和判别器。

2. 强化学习

  • 策略网络:决定行动策略。
  • 价值网络:评估状态或行动的价值。
  • 环境交互:智能体根据策略选择行动,环境反馈奖励。

3. 自动微分

  • 前向传播:计算输出和损失。
  • 反向传播:计算梯度。
  • 框架支持:TensorFlow、PyTorch等,简化实现。

四、实践技巧

1. 过拟合与欠拟合

  • 正则化:L1、L2正则化,减少模型复杂度。
  • Dropout:随机丢弃神经元,防止共适应。
  • 早停:监控验证集性能,提前终止训练。

2. 超参数调优

  • 网格搜索:遍历预设参数组合。
  • 随机搜索:在参数空间随机采样。
  • 贝叶斯优化:基于历史数据指导搜索。

3. 模型部署

  • 模型压缩:剪枝、量化、知识蒸馏等。
  • 推理加速:使用TensorRT、ONNX Runtime等工具。
  • 云服务:AWS SageMaker、Google AI Platform等。

总结

提示:这里对文章进行总结:

例如:以上就是今天要讲的内容,自学记录深度学习基础知识点总览。

相关推荐
tellmewhoisi2 分钟前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟3 分钟前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y12 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Rabitebla33 分钟前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向
linux·服务器·c++·笔记·学习
Dawson Zhu1 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源1 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔1 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Star(up up up)2 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体