《大模型进化论》第2章2节:从神经网络到预训练——近十年的显著突破与进展

2.2 大模型的发展历程:从神经网到预训练大模型

  1. 萌芽期(1950年-2005年):以CNN为代表的传统神经网络模型阶段

在人工智能的早期阶段,机器学习和神经网络的概念开始萌芽。研究者们主要关注于构建简单的模型来处理有限的数据集。卷积神经网络(CNN)的雏形在这一时期出现,但受限于计算能力和数据规模,这些模型主要处理相对简单的任务,如手写数字识别。这一阶段标志着神经网络研究的起点,为后续的发展奠定了基础。

这个阶段的代表性公司有两家:

AT&T Bell Labs:是早期神经网络研究的先驱,其中包括对感知机的研究,为后来的神经网络打下了基础。

Yann LeCun:在AT&T Bell Labs工作期间,提出了LeNet-5卷积神经网络,用于手写数字识别,是早期神经网络的重要代表。

  1. 探索沉淀期(2006年-2019年):以Transformer为代表的全新神经网络模型阶段

真正大模型的历史还要从2006 年 Deep Learning 首次在Science上发表开始。随着计算能力的提升和大规模数据集的可用性,深度学习开始得到广泛关注。神经网络结构变得更加复杂和深层,如深度卷积神经网络(DCNN)、循环神经网络(RNN)等。这一阶段出现了多种新的模型架构,如CNN在图像识别中的广泛应用,RNN在处理序列数据中的成功应用。同时,生成对抗网络(GAN)的提出也为生成模型的发展奠定了基础。

2012 年,AlexNet 战胜 ImageNet 这一标志性事件,引发了行业对深度学习 的关注和研究,而谷歌、百度等行业先行者也是在这一时期开始重视 AI 的发展。 2013 年,Google Brain 项目发布了深度学习模型 DistBelief,为大规模分布式训 练奠定基础。2014 年,被誉为 21 世纪最强大算法模型之一的 GAN(对抗式生成 网络)诞生,标志着深度学习进入了生成模型研究的新阶段。特别是2017年,google基于自注意力机制的Transformer架构的提出,在自然语言处理领域取得了重大突破,成为GPT发展的基础,为后续的大型预训练模型的发展铺平了道路。

这个阶段的代表性公司有三家:

Google:2014年提出了Word2Vec,极大地推动了自然语言处理领域的发展。

OpenAI:在2018年发布了GPT-1,这是第一个基于Transformer架构的预训练语言模型,为后续的自然语言生成任务打下了基础,标志着预训练模型在自然语言处理领域的兴起,OpenAI也成为了现阶段大模型发展的引领者

DeepMind:在2017年提出了Transformer架构

相关推荐
galileo201627 分钟前
LLM与金融
人工智能
DREAM依旧43 分钟前
隐马尔科夫模型|前向算法|Viterbi 算法
人工智能
GocNeverGiveUp1 小时前
机器学习2-NumPy
人工智能·机器学习·numpy
B站计算机毕业设计超人2 小时前
计算机毕业设计PySpark+Hadoop中国城市交通分析与预测 Python交通预测 Python交通可视化 客流量预测 交通大数据 机器学习 深度学习
大数据·人工智能·爬虫·python·机器学习·课程设计·数据可视化
学术头条2 小时前
清华、智谱团队:探索 RLHF 的 scaling laws
人工智能·深度学习·算法·机器学习·语言模型·计算语言学
18号房客2 小时前
一个简单的机器学习实战例程,使用Scikit-Learn库来完成一个常见的分类任务——**鸢尾花数据集(Iris Dataset)**的分类
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·sklearn
feifeikon2 小时前
机器学习DAY3 : 线性回归与最小二乘法与sklearn实现 (线性回归完)
人工智能·机器学习·线性回归
游客5202 小时前
opencv中的常用的100个API
图像处理·人工智能·python·opencv·计算机视觉
古希腊掌管学习的神2 小时前
[机器学习]sklearn入门指南(2)
人工智能·机器学习·sklearn
Ven%2 小时前
如何在防火墙上指定ip访问服务器上任何端口呢
linux·服务器·网络·深度学习·tcp/ip