词嵌入中语料库矩阵和句子矩阵是怎样的?

词语是不能进行计算的,要理解词语,就必须转化成数字,向量可以表示多个词语之间的关系,离得近就是相似等不同的关系。

1 语料库矩阵

假设语料库是N段语句组成的,最后算下来有5000个字组成的语料库,然后我们将这个语料库训练成每个字都由128维向量表示的,向量集合。这就是语料库矩阵。该矩阵记为E

2 句子矩阵(One-Hot编码)

句子矩阵就是,句子分词后,这个词或者字,在语料库中的位置(5000个字词中的位置),如:『我』在这5000个字词库中的第2位,『喜欢』在这5000个字词库中的第1位,『学习』是第3位,以此类推。我们将该矩阵记为V

3 E x V 即为句子的嵌入向量

最终会得到4 * 128的句子向量

4 实际上

下图中还是语料矩阵,只是写出了例句中各个元素的位置。V * E就是将例句中的向量,从语料矩阵中取出。

5 词嵌入的优势

5.1 表达效率的提升

5.2 理解词语的语义

5.3 嵌入矩阵的通用性

视频参考:https://www.bilibili.com/video/BV1sw411S7i1?spm_id_from=333.788.recommend_more_video.-1\&trackid=web_related_0.router-related-2206419-zjg6v.1764578610538.562\&vd_source=e10f137a63ff65947d019d16bb78ea8d

相关推荐
IvanCodes1 小时前
RAG 实战教程(一):RAG 工作原理与完整流程——分片、索引、召回、重排和生成
人工智能·后端·agent
今天AI了吗1 小时前
合规场景下的 AI 推理可解释性:Attention 可视化与推理路径追踪的工程实践
人工智能
周末程序猿2 小时前
浅析大模型推理十二篇之KV Cache
人工智能
鱼樱前端2 小时前
用 AI 做内容变收入
前端·人工智能·ai编程
eric-sjq2 小时前
10 分钟实战:用 0.6B 本地模型生成中文网页(WanlyFrontend + 编译器全流程)
javascript·机器学习·自然语言处理·html
Dawson Zhu3 小时前
基于Palantir Foundry构建半导体制造AI友好型数据中台:从良率分析场景谈起
人工智能·语言模型·架构·制造·agi
fthux3 小时前
装闭 RenoPit 源码解析(04):装修图纸和合同文件上传处理流程
人工智能·ai·开源·github·open source·renopit
weixin_446260854 小时前
从被动镜像到主动智能体:面向网络物理人工智能的整体论数字孪生(HDT-Net)
网络·人工智能
秋枫要学习4 小时前
你的鼠标,正在被 AI 抢走
人工智能·计算机外设