自然语言处理-词向量模型-Word2Vec

通常数据的维度越高,能提供的信息也就越多,从而计算结果的可靠性就更值得信赖

如何来描述语言的特征呢,通常都在词的层面上构建特征,Word2Vec就是要把词转换成向量

假设现在已经拿到一份训练好的词向量,其中每一个词都表示为50维的向量

如果在热度图中显示,结果如下

在结果中可以发现,相似的词在特征表达中比较相似,也就是说词的特征是有意义的!

在词向量模型中,输入和输出分别是什么?

数据从哪来?

构建训练数据

不同模型对比

CBOW模型

Skip-gram模型

Skip-gram模型所需训练数据集

如何进行训练?

如果一个语料库稍微大一些,可能的结果简直太多了,最后一层相当于softmax,计算起来十分耗时,有什么别的方法吗?

初始方案:输入两个单词,看他们是不是前后对应的输入输出,也就相当于一个二分类任务

出发点非常好,但是此时训练集构建出来的标签全为1,无法进行较好的训练

改进方案。加入一些负样本(负采样模型)

词向量训练过程

初始化词向量矩阵

通过神经网络反向传播来计算更新,此时不光更新权重参数,还更新输入数据

相关推荐
山茶花.1 分钟前
Accio Work 全面解析:从免费白嫖到2000积分时代
大数据·人工智能
AI2512245 分钟前
AI生视频主流工具功能及生成技术原理解析
人工智能·音视频
云捷配低代码7 分钟前
低代码自动化工作流实战:实现跨部门业务协同的自动化流转
运维·人工智能·低代码·自动化·数字化·敏捷流程·数字化转型
龙文浩_11 分钟前
AI中NLP的循环神经网络及其演进
人工智能·pytorch·深度学习·神经网络·自然语言处理
Cxiaomu12 分钟前
AI 聊天流式交互基础:SSE、EventSource 与 ReadableStream
人工智能·交互
啦啦啦!13 分钟前
项目环境的搭建,项目的初步使用和deepseek的初步认识
开发语言·c++·人工智能·算法
Westward-sun.15 分钟前
OpenCV实战:摄像头实时文档扫描与透视矫正
人工智能·opencv·计算机视觉
V搜xhliang024615 分钟前
生成式人工智能、大语言模型在医学教育教学中的前沿探讨
人工智能
枫叶林FYL16 分钟前
【自然语言处理 NLP】7.1 机制可解释性(Mechanistic Interpretability)
人工智能·自然语言处理
任小栗16 分钟前
【实战干货】Vue3 + WebRTC + SIP + AI 实现全自动语音接警系统(远程流获取+实时ASR+TTS回播)
人工智能·webrtc