【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)

🌟 嗨,你好,我是 青松 !

🌈 希望用我的经验,让"程序猿"的AI学习之路走的更容易些,若我的经验能为你前行的道路增添一丝轻松,我将倍感荣幸!共勉~


【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)


词嵌入核心问题:

一、动因篇

  • 💯 什么是词向量化技术?
  • 💯 如何让向量具有语义信息?

二、基于统计的方法

  • 💯 如何基于计数的方法表示文本?
  • 💯 上下文中的窗口大小是什么意思?
  • 💯 如何统计语料的共现矩阵?
  • 💯 基于计数的表示方法存在哪些问题?

三、基于推理的方法

  • 💯 Word2Vec的两种模型分别是什么?
  • 💯 Word2Vec 中 CBOW 指什么?
  • 💯 Word2Vec 中 Skip-gram 指什么?
  • 💯 CBOW 和 Skip-gram 哪个模型的词嵌入更好?

四、问题优化篇

  • 💯 Word2Vec训练中存在什么问题?
  • 💯 Word2Vec如何优化从中间层到输出层的计算?
    • 用负采样优化中间层到输出层的计算
    • 负采样方法的关键思想
    • 负采样的采样方法
  • 💯 为什么说Word2vec的词向量是静态的?
  • 💯 Word2vec的词向量存在哪些问题?

💯 上下文中的窗口大小是什么意思?

上下文是指某个居中单词的周围词汇。这里,我们将上下文的大小(即周围的单词有多少个)称为窗口大小(window size)。窗口大小为1,上下文包含左右各1个单词;窗口大小为2,上下文包含左右各2个单词。

窗口大小为2的上下文例子。在关注goodbye时,将其左右各2个单词用作上下文

相关推荐
CeshirenTester9 小时前
Playwright元素定位详解:8种定位策略实战指南
人工智能·功能测试·程序人生·单元测试·自动化
世岩清上10 小时前
AI驱动的智能运维:从自动化到自主化的技术演进与架构革新
运维·人工智能·自动化
K2_BPM10 小时前
告别“单点智能”:AI Agent如何重构企业生产力与流程?
人工智能
TMT星球10 小时前
深业云从人工智能产业投资基金设立,聚焦AI和具身智能相关产业
人工智能
鼾声鼾语10 小时前
matlab的ros2发布的消息,局域网内其他设备收不到情况吗?但是matlab可以订阅其他局域网的ros2发布的消息(问题总结)
开发语言·人工智能·深度学习·算法·matlab·isaaclab
Dingdangcat8610 小时前
中药材图像识别与分类 RetinaNet-R101-FPN模型详解
人工智能·数据挖掘
老蒋新思维11 小时前
创客匠人视角:智能体重构创始人 IP,知识变现从 “内容售卖” 到 “能力复制” 的革命
大数据·网络·人工智能·tcp/ip·创始人ip·创客匠人·知识变现
Honmaple11 小时前
Spring AI 2.x 发布:全面拥抱 Java 21,Redis 史诗级增强
java·人工智能·spring
古城小栈11 小时前
区块链 + AI:医疗诊断模型存证上链技术实践与探索
人工智能·区块链
丹宇码农11 小时前
Index-TTS2 从零到一:完整安装与核心使用教程
人工智能·ai·tts