《大模型进化论》第2章2节:从神经网络到预训练——近十年的显著突破与进展

2.2 大模型的发展历程:从神经网到预训练大模型

  1. 萌芽期(1950年-2005年):以CNN为代表的传统神经网络模型阶段

在人工智能的早期阶段,机器学习和神经网络的概念开始萌芽。研究者们主要关注于构建简单的模型来处理有限的数据集。卷积神经网络(CNN)的雏形在这一时期出现,但受限于计算能力和数据规模,这些模型主要处理相对简单的任务,如手写数字识别。这一阶段标志着神经网络研究的起点,为后续的发展奠定了基础。

这个阶段的代表性公司有两家:

AT&T Bell Labs:是早期神经网络研究的先驱,其中包括对感知机的研究,为后来的神经网络打下了基础。

Yann LeCun:在AT&T Bell Labs工作期间,提出了LeNet-5卷积神经网络,用于手写数字识别,是早期神经网络的重要代表。

  1. 探索沉淀期(2006年-2019年):以Transformer为代表的全新神经网络模型阶段

真正大模型的历史还要从2006 年 Deep Learning 首次在Science上发表开始。随着计算能力的提升和大规模数据集的可用性,深度学习开始得到广泛关注。神经网络结构变得更加复杂和深层,如深度卷积神经网络(DCNN)、循环神经网络(RNN)等。这一阶段出现了多种新的模型架构,如CNN在图像识别中的广泛应用,RNN在处理序列数据中的成功应用。同时,生成对抗网络(GAN)的提出也为生成模型的发展奠定了基础。

2012 年,AlexNet 战胜 ImageNet 这一标志性事件,引发了行业对深度学习 的关注和研究,而谷歌、百度等行业先行者也是在这一时期开始重视 AI 的发展。 2013 年,Google Brain 项目发布了深度学习模型 DistBelief,为大规模分布式训 练奠定基础。2014 年,被誉为 21 世纪最强大算法模型之一的 GAN(对抗式生成 网络)诞生,标志着深度学习进入了生成模型研究的新阶段。特别是2017年,google基于自注意力机制的Transformer架构的提出,在自然语言处理领域取得了重大突破,成为GPT发展的基础,为后续的大型预训练模型的发展铺平了道路。

这个阶段的代表性公司有三家:

Google:2014年提出了Word2Vec,极大地推动了自然语言处理领域的发展。

OpenAI:在2018年发布了GPT-1,这是第一个基于Transformer架构的预训练语言模型,为后续的自然语言生成任务打下了基础,标志着预训练模型在自然语言处理领域的兴起,OpenAI也成为了现阶段大模型发展的引领者

DeepMind:在2017年提出了Transformer架构

相关推荐
青松@FasterAI14 分钟前
【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)
人工智能·自然语言处理
AIGC大时代29 分钟前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水30 分钟前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
多巴胺与内啡肽.33 分钟前
深度学习--自然语言处理统计语言与神经语言模型
深度学习·语言模型·自然语言处理
偶尔微微一笑42 分钟前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器
深度之眼1 小时前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
沅_Yuan1 小时前
基于贝叶斯优化的Transformer多输入单输出回归预测模型Bayes-Transformer【MATLAB】
神经网络·matlab·回归·贝叶斯·transformer·回归预测
晓数1 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
jndingxin1 小时前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉
Sherlock Ma2 小时前
PDFMathTranslate:基于LLM的PDF文档翻译及双语对照的工具【使用教程】
人工智能·pytorch·语言模型·pdf·大模型·机器翻译·deepseek