【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)

🌟 嗨,你好,我是 青松 !

🌈 希望用我的经验,让"程序猿"的AI学习之路走的更容易些,若我的经验能为你前行的道路增添一丝轻松,我将倍感荣幸!共勉~


【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)


词嵌入核心问题:

一、动因篇

  • 💯 什么是词向量化技术?
  • 💯 如何让向量具有语义信息?

二、基于统计的方法

  • 💯 如何基于计数的方法表示文本?
  • 💯 上下文中的窗口大小是什么意思?
  • 💯 如何统计语料的共现矩阵?
  • 💯 基于计数的表示方法存在哪些问题?

三、基于推理的方法

  • 💯 Word2Vec的两种模型分别是什么?
  • 💯 Word2Vec 中 CBOW 指什么?
  • 💯 Word2Vec 中 Skip-gram 指什么?
  • 💯 CBOW 和 Skip-gram 哪个模型的词嵌入更好?

四、问题优化篇

  • 💯 Word2Vec训练中存在什么问题?
  • 💯 Word2Vec如何优化从中间层到输出层的计算?
    • 用负采样优化中间层到输出层的计算
    • 负采样方法的关键思想
    • 负采样的采样方法
  • 💯 为什么说Word2vec的词向量是静态的?
  • 💯 Word2vec的词向量存在哪些问题?

💯 上下文中的窗口大小是什么意思?

上下文是指某个居中单词的周围词汇。这里,我们将上下文的大小(即周围的单词有多少个)称为窗口大小(window size)。窗口大小为1,上下文包含左右各1个单词;窗口大小为2,上下文包含左右各2个单词。

窗口大小为2的上下文例子。在关注goodbye时,将其左右各2个单词用作上下文

相关推荐
小鸡吃米…1 小时前
机器学习 - K - 中心聚类
人工智能·机器学习·聚类
好奇龙猫2 小时前
【AI学习-comfyUI学习-第三十节-第三十一节-FLUX-SD放大工作流+FLUX图生图工作流-各个部分学习】
人工智能·学习
沈浩(种子思维作者)2 小时前
真的能精准医疗吗?癌症能提前发现吗?
人工智能·python·网络安全·健康医疗·量子计算
minhuan2 小时前
大模型应用:大模型越大越好?模型参数量与效果的边际效益分析.51
人工智能·大模型参数评估·边际效益分析·大模型参数选择
Cherry的跨界思维2 小时前
28、AI测试环境搭建与全栈工具实战:从本地到云平台的完整指南
java·人工智能·vue3·ai测试·ai全栈·测试全栈·ai测试全栈
MM_MS2 小时前
Halcon变量控制类型、数据类型转换、字符串格式化、元组操作
开发语言·人工智能·深度学习·算法·目标检测·计算机视觉·视觉检测
ASF1231415sd2 小时前
【基于YOLOv10n-CSP-PTB的大豆花朵检测与识别系统详解】
人工智能·yolo·目标跟踪
水如烟3 小时前
孤能子视角:“意识“的阶段性回顾,“感质“假说
人工智能
Carl_奕然3 小时前
【数据挖掘】数据挖掘必会技能之:A/B测试
人工智能·python·数据挖掘·数据分析
旅途中的宽~3 小时前
《European Radiology》:2024血管瘤分割—基于MRI T1序列的分割算法
人工智能·计算机视觉·mri·sci一区top·血管瘤·t1