大语言模型实战(三)——词编码技术演进:从 “机器识字符” 到 “AI 懂语义”

词编码技术演进:从"机器识字符"到"AI懂语义"的四代革命

大家好,今天我们聊聊自然语言处理(NLP)的"地基"------词编码技术。从让机器"区分单词"到"理解语义",这背后是四代技术的迭代,正好对应四张经典示意图。

1. 独热编码------机器"能认词,但看不懂"

先看这张图(独热编码示意图):

它的逻辑很直接:给每个单词分配一个向量,只有单词对应的位置是1,其余全为0 。比如"time"对应[1,0,0,...],"fruit"对应[0,1,0,...]。

这代技术的核心是"区分单词",但缺陷也很致命:

  • 语义割裂:任意两个词的向量都是"正交"的(相似度为0),机器根本不知道"苹果"和"香蕉"都是水果;
  • 内存爆炸:若词汇表有10万个单词,每个向量就要10万维,完全是资源浪费。

一句话总结:独热编码让机器"能认词",但完全"看不懂语义"。

2. Word2Vec------机器"能感知语义,但太死板"

为了破解独热编码的困境,Word2Vec来了(Word2Vec示意图)。

它的核心是**"降维+语义关联"**:通过一个训练好的Q矩阵,把高维独热向量压缩成低维稠密向量(比如图中5维转3维)。

这代技术的突破是:

  • 压缩维度:从10万维降到几百维,内存压力直接消失;
  • 语义关联:相似词的向量会更接近(比如"苹果"和"香蕉"的向量相似度高),机器终于能感知"它们是一类东西"。

但Word2Vec有个硬伤:它是静态词嵌入------同一个单词(比如"bank")在"河岸"和"银行"语境下,向量完全一样,机器分不清多义词。

3. ELMo模型------机器"能懂上下文,区分多义"

为了解决"多义词"问题,ELMo模型登场(ELMo示意图)。

左边例子很典型:"bank"既可以是"河岸",也可以是"银行"------Word2Vec分不清,但ELMo能。

它的核心是**"动态词嵌入":用"双层双向RNN"训练,同一个单词会根据上下文**生成不同的向量:

  • 当"bank"出现在"river"附近时,向量对应"河岸";
  • 当"bank"出现在"money"附近时,向量对应"银行"。

这代技术让机器终于"能结合语境理解单词",但缺点是:RNN是串行计算,处理长文本时效率很低。

4. Multi-head Self Attention------机器"能多角度懂语义,还高效"

最后是Transformer的核心:多头自注意力(Multi-head Self Attention示意图)。

它一次性解决了两个问题:

  • 多角度语义捕捉:"多头"意味着机器可以同时从多个维度关注句子(比如图中不同颜色的线代表不同"头")------有的头关注语法(如"it"和"is"的关联),有的头关注语义(如"making"和"difficult"的关联);
  • 并行计算:和RNN的串行不同,注意力是并行处理的,长文本效率直接提升10倍以上。

这代技术不仅让机器"懂上下文",还能"精准、高效地理解语义"------正是它,支撑了现在的GPT、BERT等大模型。

相关推荐
在所不辞兄18 分钟前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下1 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码1 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下2 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩2 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY2 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
Flynn Liang3 小时前
大模型成本优化:基于 Redis 的可验证语义缓存架构
人工智能·redis·缓存·架构·ai agent·智能体
锋行天下3 小时前
langgraph全栈项目(一)
前端·人工智能·后端
程序员cxuan3 小时前
不得了,Google 造反了,Opus 5.5 又被干了
人工智能·后端·程序员
数字新视界3 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房