自然语言处理-词向量模型-Word2Vec

通常数据的维度越高,能提供的信息也就越多,从而计算结果的可靠性就更值得信赖

如何来描述语言的特征呢,通常都在词的层面上构建特征,Word2Vec就是要把词转换成向量

假设现在已经拿到一份训练好的词向量,其中每一个词都表示为50维的向量

如果在热度图中显示,结果如下

在结果中可以发现,相似的词在特征表达中比较相似,也就是说词的特征是有意义的!

在词向量模型中,输入和输出分别是什么?

数据从哪来?

构建训练数据

不同模型对比

CBOW模型

Skip-gram模型

Skip-gram模型所需训练数据集

如何进行训练?

如果一个语料库稍微大一些,可能的结果简直太多了,最后一层相当于softmax,计算起来十分耗时,有什么别的方法吗?

初始方案:输入两个单词,看他们是不是前后对应的输入输出,也就相当于一个二分类任务

出发点非常好,但是此时训练集构建出来的标签全为1,无法进行较好的训练

改进方案。加入一些负样本(负采样模型)

词向量训练过程

初始化词向量矩阵

通过神经网络反向传播来计算更新,此时不光更新权重参数,还更新输入数据

相关推荐
gs801405 分钟前
Ascend 服务器是什么?(Ascend Server / 昇腾服务器)
运维·服务器·人工智能
csdn_aspnet12 分钟前
AI赋能各类主流编程语言
人工智能·ai·软件开发
CodeNerd影22 分钟前
RAG文件检索增强(基于吴恩达课程)
人工智能
阿里云大数据AI技术28 分钟前
一行代码,让Elasticsearch 集群瞬间雪崩——5000W 数据压测下的性能避坑全攻略
人工智能
Slaughter信仰30 分钟前
图解大模型_生成式AI原理与实战学习笔记(前三章综合问答)
人工智能·笔记·学习
霍格沃兹测试学院-小舟畅学38 分钟前
告别误判:基于n8n构建你的AI输出安全测试护盾
人工智能
阿乔外贸日记38 分钟前
中国汽车零配件出口企业情况
大数据·人工智能·智能手机·云计算·汽车
LCG米41 分钟前
[OpenVINO实战] 在边缘设备上运行Stable Diffusion,实现离线文生图
人工智能·stable diffusion·openvino
智元视界41 分钟前
教育智能体技术解析:从知识曲线到个性化推荐
人工智能·科技·制造·数字化转型·产业升级
Jerryhut1 小时前
sklearn函数总结四——归一化和标准化
人工智能·python·机器学习·jupyter·sklearn