【跟马少平老师学AI】-【神经网络是怎么实现的】(七-2)word2vec模型

一句话归纳:
1)CBOW模型:

  • 2c个向量是相加,而不是拼接。

2)CBOW模型中的哈夫曼树:

  • 从root开始,向左为1,向右为0。
  • 叶子结点对应词有中的一个词。
  • 每个词对应唯一的编码。
  • 词编码不等长。

3)CBOW模型输出为到达哈夫曼树每一个非叶子结点时向右走的概率。

  • 计算每个叶子结点的概率,以图为例W2的概率为
  • 取对数取反,作损失函数
相关推荐
985小水博一枚呀10 分钟前
【深度学习滑坡制图|论文解读3】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer
AltmanChan11 分钟前
大语言模型安全威胁
人工智能·安全·语言模型
985小水博一枚呀15 分钟前
【深度学习滑坡制图|论文解读2】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer·迁移学习
数据与后端架构提升之路24 分钟前
从神经元到神经网络:深度学习的进化之旅
人工智能·神经网络·学习
爱技术的小伙子30 分钟前
【ChatGPT】如何通过逐步提示提高ChatGPT的细节描写
人工智能·chatgpt
深度学习实战训练营2 小时前
基于CNN-RNN的影像报告生成
人工智能·深度学习
昨日之日20064 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_4 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
深度学习lover4 小时前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
热爱跑步的恒川5 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程