自然语言处理-词向量模型-Word2Vec

通常数据的维度越高,能提供的信息也就越多,从而计算结果的可靠性就更值得信赖

如何来描述语言的特征呢,通常都在词的层面上构建特征,Word2Vec就是要把词转换成向量

假设现在已经拿到一份训练好的词向量,其中每一个词都表示为50维的向量

如果在热度图中显示,结果如下

在结果中可以发现,相似的词在特征表达中比较相似,也就是说词的特征是有意义的!

在词向量模型中,输入和输出分别是什么?

数据从哪来?

构建训练数据

不同模型对比

CBOW模型

Skip-gram模型

Skip-gram模型所需训练数据集

如何进行训练?

如果一个语料库稍微大一些,可能的结果简直太多了,最后一层相当于softmax,计算起来十分耗时,有什么别的方法吗?

初始方案:输入两个单词,看他们是不是前后对应的输入输出,也就相当于一个二分类任务

出发点非常好,但是此时训练集构建出来的标签全为1,无法进行较好的训练

改进方案。加入一些负样本(负采样模型)

词向量训练过程

初始化词向量矩阵

通过神经网络反向传播来计算更新,此时不光更新权重参数,还更新输入数据

相关推荐
东锋1.33 分钟前
深度解析近期爆火的 DeepSeek
人工智能·深度学习
爱研究的小牛8 分钟前
讯飞智作 AI 配音技术浅析(二):深度学习与神经网络
人工智能·深度学习·神经网络·机器学习·aigc
Luzem031928 分钟前
使用PyTorch实现逻辑回归:从训练到模型保存与性能评估
人工智能·pytorch·逻辑回归
灵封~31 分钟前
自定义数据集 使用pytorch框架实现逻辑回归并保存模型,然后保存模型后再加载模型进行预测,对预测结果计算精确度和召回率及F1分数
人工智能·深度学习
辞落山33 分钟前
使用 Numpy 自定义数据集,使用pytorch框架实现逻辑回归并保存模型,然后保存模型后再加载模型进行预测,对预测结果计算精确度和召回率及F1分数
人工智能·pytorch·逻辑回归
nnerddboy42 分钟前
深度学习查漏补缺:2. 三个指标和注意力机制
人工智能·神经网络·cnn
新加坡内哥谈技术1 小时前
Deepseek-R1 和 OpenAI o1 这样的推理模型普遍存在“思考不足”的问题
人工智能·科技·深度学习·语言模型·机器人
goomind1 小时前
深度卷积神经网络实战无人机视角目标识别
人工智能·神经网络·yolo·cnn·无人机·pyqt5·目标识别
終不似少年遊*1 小时前
国产之光DeepSeek架构理解与应用分析
人工智能·深度学习·神经网络·架构·deepseek·分析解读
智能汽车人1 小时前
自动驾驶---两轮自行车的自主导航
人工智能·机器学习·自动驾驶