自然语言处理发展历程

  • 2012年前-磁带模型:

    • 采用词ID表示法(如"今天=0,下午=1,上课=2")
    • 效果极差,被认为是NLP的"史前时期"
    • 类比:仅用名字描述人,无法体现特征
  • 2012年-词向量突破:

    • 谷歌提出Word2Vec模型
    • 核心思想:用多维特征向量代替单一ID
    • 类比:描述人时使用身高(1.8m)、体重(160斤)等多维特征
    • 优势:能计算词间相似度(如篮球和足球向量距离近)

词向量模型

  • 向量空间特性:

    • 相似概念在向量空间中距离近(球类运动、电子产品等)
    • 示例:篮球、足球、羽毛球在300维空间中聚集
    • 维度越高信息越丰富(50维→300维)
  • 关键进步:

    • 解决了词义离散表示问题
    • 为后续模型提供基础表示方法
    • 但仍不足以完全解决NLP问题(2012-2015年效果仍有限)

Transformer革命

  • 2017年-Transformer革命:

    • 里程碑论文《Attention is All You Need》

    • 引入注意力机制:

      • 区分重要/不重要信息(如"抽100万"比"上课"更受关注)
      • 解决指代问题(如"他"指向"班主任")
    • 应用范围超出NLP(CV、语音等领域)

  • 模型架构:

    • 包含编码器(self-attention)和解码器(attention)
    • 成为后续模型基础架构(如BERT)

BERT

    • 基于Transformer的预训练模型
    • 提供通用文本表示框架
    • 类比:CV中的YOLO(面试必备项目)
  • 行业影响:

    • 2019年引发研究热潮(各领域快速适配)

    • 效果显著超越先前方法

    • 余弦相似度计算示例:

cosine_similarity= A⋅B∥A∥⋅∥B∥ cosine\_similarity = \frac{A \cdot B}{\|A\| \cdot \|B\|} cosine_similarity=∥A∥⋅∥B∥A⋅B

  • 跨领域应用:

    • Transformer在CV中的应用(ViT等论文)
    • 弥补CNN的某些局限性
    • 需要先掌握BERT基础原理
相关推荐
大模型真好玩41 分钟前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi41 分钟前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手1 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
墨林陌1 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
byte轻骑兵2 小时前
【ATT】规范精讲[8]:配置要确认、灌包要速度、多字段要原子——BLE 写入的四重选择
人工智能·aiot·l2cap·嵌入式蓝牙·蓝牙链路管理
AAA修煤气灶刘哥2 小时前
Agent 都能干活了,软件还需要那么多按钮吗?
人工智能·后端·架构
Purple Coder2 小时前
开题报告学习
人工智能
狂师3 小时前
牛逼!谷歌亲自下场开源的AI自动化神器!
人工智能·开源·测试
金融小师妹3 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
ZhengEnCi4 小时前
中美AI竞赛之外其他国家在干什么:算力5%的欧洲、买卡的沙特与做场景的日韩
人工智能·gpu·nvidia