一、概念
深度学习是机器学习算法的分支；人工神经网络为结果，实现自动提取数据特征的算法。
所有深度学习都是机器学习，但并非所有机器学习都是深度学习。
在深度学习的过程中，每一层神经网络都对输入数据进行处理，从而学习到数据中的特征和模式。
深度学习的关键之一是"反向传播"算法，它通过计算损失函数（即实际输出与期望输出之间的差异）并将这种误差反馈回网络的每一层，来调整每层的权重。
深度学习的一个重要的概念是"特征学习"，这意味着深度学习模型能够自动发现和利用数据中的有用特征，而无需人工介入。
深度学习的成功依赖于大量的数据和强大的计算能力。
二、深度学习的优缺点
优点：
1.自动提取特征：省去人工设计特征，适合图像、语音等复杂数据。
2.高精度：在大数据任务（如CV、NLP）中表现优异。
3.端到端学习：直接从数据到结果，简化流程。
4.适应性强：新模型（如Transformer）不断优化性能。
缺点：
1.依赖大数据：小样本场景容易过拟合。
2.计算成本高：训练需要GPU/TPU，部署难。
3.黑盒模型：决策难解释，影响可信度。
4.调参复杂：超参数优化依赖经验。
5.安全风险：对抗攻击，数据偏见问题突出。
适用于大数据、高复杂度任务；不适用小数据、需高解释性或低功耗设备。
三、深度学习发展史（部分）
1943: 沃尔特·皮茨（Walter Pitts）和沃伦·麦卡洛克（Warren McCulloch）提出了McCulloch-Pitts神经元模型，这是人工神经网络领域的开创性工作之一。
1956: 美国达特茅斯学院的约翰·麦卡锡、马文·闵斯基、克劳德·香农和纳撒尼尔·罗切斯特等人发起达特茅斯会议，首次提出了"人工智能"这一术语，并确立了研究目标和方向。
1957：弗兰克·罗森布拉特（Frank Rosenblatt）提出单层感知器概念，使用随机梯度下降（的雏形）进行权重更新。
1960年代末：出现了多层感知器（MLP），输入层、隐藏层、输出层的结构被提出,反向传播算法(BP)尚未成熟（直到1986年才由Rumelhart等人明确推广）。
1986：David Rumelhart等人发表了关于反向传播（BackPropagation, BP）算法的研究成果，使得多层神经网络能够通过梯度下降优化参数，解决复杂的非线性问题。
2012：亚历克斯·克里泽夫斯基（Alex Krizhevsky）等人设计的卷积神经网络（CNN）AlexNet模型在ImageNet图像识别挑战赛中取得巨大成功。大规模图像识别任务中的强大能力，引爆了深度学习革命。
2022 年: chatGPT的出现，进入到大模型AIGC发展的阶段。
四、算法/模型
包含：ANN人工神经网络、CNN 卷积神经网络、RNN 循环神经网络、transformer、生成对抗网络、BERT、GPT......
五、应用场景
自然语言处理 nlp：聊天机器人、语音翻译......
计算机视觉 CV：图像识别、目标检测......
推荐系统：电商推荐、电影/音乐/文章/推荐......
多模态大模型......